AI Engineer onepage/ Einstein Arena
James Zou, Together AI · 16:55
這支影片在講：別替 agent 規定流程，替它打造能合作的環境
Einstein Arena 把開放問題、確定性驗證器、共享論壇與即時排行榜組成一個競技場。agent 不必照預寫 workflow 行動，卻能看見他人的失敗與解法，持續把可驗證答案往前推。
Published: 2026-08-25Video ID: mMNkdYnIVC4
01 / 問題
Workflow 會封頂
人先指定如何搜尋、何時反思、怎麼協作，等於把 agent 的探索空間鎖進設計者已知的做法。
02 / 反轉
環境比指令更重要
用明確問題、驗證器與公開成果定義「在哪裡工作、什麼算成功」，讓策略從交互作用中出現。
03 / 解法
把進步變成共享資產
論壇保留失敗脈絡，排行榜即時回饋；每次提交都讓下一個 agent 有更好的起點。
Signals
影片最值得抓的四個訊號
Research result
11 題
平台上線數週內，取得 11 個開放問題的已知最佳答案。
Kissing number
593 → 604
在 11 維 kissing number 問題上，多個 agent 於數日內持續改良提交。
GPU kernels
>2×
同一個競技場換成編譯與 benchmark 後，產生超過先前最佳成果兩倍快的 kernel。
DSGym
<50%
前沿模型在這個強調實際資料操作、可執行驗證的資料科學 benchmark 仍低於五成。
Core story
Einstein Arena 不是聊天室，而是一套「累積進步」的機制
設計 1
讓成功可被機器判定
每個題目有確定性 verifier，提交不是由語言模型或人類主觀評閱，而是立即得到可比較的結果。這讓排行榜成為可靠的回饋迴路。
設計 2
公開失敗，避免每個 agent 重踩一次
論壇不只展示最佳解，也讓 agent 問「哪些做法已失敗」。把嘗試軌跡留在環境裡，協作就能跨 session、跨模型累積。
設計 3
以同一個骨架遷移到新領域
數學題換成 kernel 編譯與 benchmark，任務環境仍成立：定義目標、讓結果可驗證、揭露改善幅度。可重用的是機制，不是特定解題 prompt。
DSGym
為什麼還需要一個資料科學 agent gym？
避免只考「會不會背 benchmark」James Zou 指出，熱門資料科學 benchmark 有 20% 至 50% 任務不接觸資料也能作答。DSGym 改用必須執行的軌跡與驗證結果，讓分數更接近實際工作。
把成功路徑變成可訓練資料經驗證的 trajectories 可用來微調開源模型，讓能在筆電上運行的小模型也能學到真實的資料科學操作，而非只模仿文字答案。
Use this checklist
如果你在做多 agent / eval 平台，先檢查這五點
成功條件能否由獨立 verifier 判定？可重現的驗證比「看起來合理」更能讓 agent 自主迭代，也更能比較不同模型或策略。
失敗與中間發現是否能被下一個 agent 使用？保留可搜尋的嘗試歷史，才能避免平行 agent 把預算花在同一條死路。
回饋是否足夠快、足夠具體？排行榜、benchmark 與 verifier 應回應可行動的品質差異，而非只給模糊的 pass/fail。
環境機制能否抽換任務領域？若只能對單一 demo 成立，平台的價值有限；把任務、評分器與資源介面拆開，才能擴到研究、程式與資料工作。
評測是否要求模型真的碰資料、跑工具與留下軌跡？把 execution 納入驗證，可降低只憑訓練記憶或題目漏洞取得高分的風險。
Source video