AI Engineer onepage/ Anthropic
Gagan Bhat & Isabella Kai He, Anthropic · 30:49

這支影片在講:別把舊模型的限制寫死在 agent harness 裡

Anthropic Applied AI 團隊從 context anxiety 的一次誤判出發:模型能力變了,當年的 workaround 反而成了延遲與快取浪費。長任務 agent 必須讓假設可替換,並把推理、執行與狀態拆成可各自恢復的元件。

Published: 2026-08-11Video ID: K0X9QDRkIdg
01 / 問題

補丁會過期

Sonnet 4.5 會在 context 快滿前提早收尾,團隊因此加入 context reset;Opus 4.5 不再有此行為後,reset 只剩額外延遲與 cache 損失。

02 / 反轉

長任務的故障是常態

容器建置慢、sandbox 會死、模型會丟失舊 context。若 brain、hands、session 綁在一起,任一部分失敗都讓整個工作重來。

03 / 解法

把狀態做成可恢復資產

分離 agent loop、工具環境與 durable session log;讓推理可與 setup 平行、執行可重試、context 可取回,也讓離線學習成為可能。

Signals

影片中的四個設計訊號

Time to first token
P50 −60%
brain 與 hands 解耦後,模型可在 container 尚在建置時先開始推理。
Tail latency
P95 −90%+
慢 setup 不再阻塞整個 agent turn,長尾改善更明顯。
Core primitives
3 個
agent、environment、session 各自負責推理、執行與可恢復狀態。
Learning loop
Dreaming
session log 不只供觀測與恢復,也能在批次重寫記憶,讓下一輪更聰明。
Core story

長任務 agent 的三個架構取捨

01

把 workaround 視為可到期的假設

harness 會把「模型做不到什麼」編碼進流程。context reset 的故事提醒團隊:每個補償機制都應有可觀測成本、觸發條件與重新評估點,而不是永久規則。

02

拆開 brain、hands 與 session

agent loop 不該等待工具環境就緒才開始;環境不該因模型中斷而被一併丟棄;session 則需獨立保存足以接續工作的 log。這讓故障變成局部重試,而非全盤失敗。

03

把 session log 當成產品介面

同一份 durable log 同時提供 trace、context recovery 與後續記憶整理。它不是單純稽核資料,而是讓長任務跨中斷、跨模型 context window 與跨日學習的共同基底。

Content map

影片如何從框架走到 SRE demo

從手刻 loop 到會過期的假設

介紹 Applied AI 的工作、Messages API 與 Agent SDK;以 context anxiety 說明 harness 為何必須為未來模型能力設計。

長任務需要三個 primitives

解釋 agent、environment、session 的分工、四種 session 狀態,以及丟失 context 後如何從 session log 讀回片段。

SRE latency spike demo

以受網路限制的環境啟動診斷任務,展示 trace 如何協助定位根因;重點延伸到 credentials、延遲歸因、memory 與 self-hosted sandbox。

Dreaming、grader 與 outcomes

把歷史 session 批次整理成更可用的記憶,並用結果與 grader agent 形成改進閉環;最後回到 harness 是否成為真正瓶頸。

Practical implications

給 agent platform 團隊的四個檢查點

為每個能力假設設定重新驗證日期記錄 workaround 解決的模型行為、成本與觀測指標。模型或 SDK 更新後,先測試它是否已成冗餘負擔,而不是自動延續。
讓推理與環境準備能平行進行把「可以開始思考」和「可以安全執行」分開設計;前者改善首 token,後者仍可保有 sandbox、網路與 credential 邊界。
把可恢復 session 視為一級產品能力定義 session state、重試語義、恢復所需的 context slice 與版本資料;避免只依賴對話 history 或一次性的 container filesystem。
讓學習閉環回到可評估 outcomesdreaming 或 memory rewrite 應接到明確任務結果與 grader,而不只是摘要越寫越多;否則舊錯誤會被持久化成新的提示詞負債。
Source video

原影片與講者資料

AI Engineer · Gagan Bhat & Isabella Kai He, Anthropic · 30:49youtube.com/watch?v=K0X9QDRkIdg