Agent 評測要能被重跑、被貢獻、被挑戰：
Kaggle 想把 evals 做成 公共基礎設施

先講結論：比較模型之前，先把評測環境固定住

這支 talk 的第一層訊息，是 agent 評測不能只看 leaderboard 數字。影片描述提到，在 SWE-Bench Pro 上，六個 frontier models 彼此只差幾個百分點；但它們所在的 harness 可以讓表現移動 22%。這代表很多「模型 A 贏模型 B」的說法，其實可能是在比較 scaffold、context compaction、工具設定與重試策略。

更麻煩的是，另一個 lab 可以拿同一個 Kaggle benchmark，用自己的 compaction 設定重跑，得到漂亮得多的結果。兩組數字都可能沒有造假，但如果評測環境不同，兩組數字都不適合拿來做決策。

same_task + same_model_family is not enough

score = model_capability
      * harness_quality
      * context_policy
      * tool_access
      * retry_strategy
      * evaluation_rubric

if any_variable_is_hidden:
  leaderboard = "interesting, but not decision-grade"

這場演講的重點不是「Kaggle 又做一個 leaderboard」，而是把 agent eval 的環境、資料、rubric 與社群貢獻變成可重跑的公共流程。 — 本頁依 YouTube metadata、影片描述與公開摘要整理

現在的 eval 問題：分散、過期、不透明

公開摘要指出，Kang 與 Aaron 把現況拆成幾個痛點：benchmark 分散在 GitHub、arXiv、內部 lab server；leaderboard 發布後常常沒有人維護；不同 lab 報告結果時，設定、harness 與真正測到的能力不一定透明。這會讓研究者、產品團隊與社群很難判斷一個 agent 到底是模型進步，還是評測包裝進步。

第三個痛點更重要：大多數 benchmark 由 AI 研究者建立，但世界上的技術與產業知識遠不只 AI lab。若 eval 只反映研究者熟悉的題型，就很容易漏掉真實場景裡的安全、營運、製造、醫療、工程與長尾專業知識。

Kaggle 的方向：把 eval 平台化，而不是只發榜

Kaggle 團隊提出的組合拳包含四塊：開放 benchmark 平台、hackathons、Standardized Agent Exams，以及 PvP Game Arena。開放 benchmark 讓任何人建立、執行與分享評測；hackathon 則把社群能量導向明確問題，並用 guardrails 與 open-source 結果降低一次性競賽的浪費。

Standardized Agent Exams 的價值在速度：使用者用單行 prompt 讓 agent 進入標準化測試，得到可以互相比較的 baseline。影片描述提到，這個 agent exam 在沒有宣傳的第一週就收到 500 多份提交，顯示社群對「快速、標準、可比較」的需求已經很強。

Game Arena：用對戰式 ELO 對抗 benchmark 飽和

傳統 benchmark 會被刷榜、被資料污染，也會在模型普遍變強後失去區分度。Game Arena 的思路是讓模型在 poker、chess 這類 PvP 場景中互相對戰，用 ELO 型評分追蹤相對能力。這種場景不只測答案對錯，也測策略、長期規劃、對手建模與不確定性下的決策。

它不會取代所有 eval，但很適合補上 agentic 系統的互動面：agent 面對的不是靜態考卷，而是會反應、會變招、會利用弱點的環境。對需要長期不飽和指標的團隊來說，這比單次任務 pass/fail 更有生命力。

最關鍵的 use case：讓領域專家帶資料進來

影片描述中特別提到一位土耳其 wastewater treatment plant engineer。他用 20 年現場經驗建立 novel safety benchmark，而這些資料不在公開資料集，也不會自然出現在 AI lab 的題庫裡。Kaggle 團隊反覆回到這個例子，因為它說明 eval democratization 的真正意義。

如果 agent 要進入真實產業，評測就不能只由模型公司和 AI 研究者定義。最珍貴的 benchmark 可能來自第一線工程師、維運人員、合規專家或安全負責人。他們知道哪些失誤會造成現場事故，也知道哪些答案看似合理但實際不可用。

實務啟發：你自己的 agent eval 也該這樣設計

來源與限制

來源包含 YouTube 原影片、watch metadata、影片描述、AI Engineer Europe 2026 schedule，以及 StartupHub.ai 對這場 talk 的公開摘要。YouTube metadata 顯示有英文自動字幕 track，但 timedtext 端點本輪回傳空內容，因此未使用逐字稿；章節時間為依 20:02 影片長度與內容線索整理的 approximate content map，非官方 timecode。