AI Engineer onepage / Model routing
速讀 · 路由決策 · 實務檢查
NVIDIA × Cognition × OpenRouter · 2026-08-06

這支影片在講:模型路由不是找「最便宜」的模型

Agent 的任務會變形:從讀 codebase、寫功能到線上除錯。一次性選定模型很脆弱;更可靠的設計是讓強模型規劃、把可拆的工作委派出去,並用上下文、快取與失敗訊號持續調整。

講者:Nader Khalil(主持)、Walden Yan(Cognition)、Alex Atallah(OpenRouter)、Tanay Varshney 與 Carter Abdallah(NVIDIA)
01 / 問題

靜態分流會失靈

某模型在 benchmark 表現好,不代表它能承受整段 agent session。任務一旦跨出訓練分布,工具迴圈與重試可能讓小模型更貴。

02 / 反轉

便宜不是 token 單價

對談舉例:Opus 的 terminal bench 成績約為 Haiku 的三倍、成本卻約十分之一;關鍵是避免低能力模型無止盡地摸索。

03 / 解法

把路由放進工作流

以 frontier model 規劃與委派、維持熱快取、在能力不足時升級或改路徑;模型選擇成為執行中的控制迴路。

Signals

四個改寫成本模型的訊號

Benchmark example
3× / 1⁄10
影片引述 terminal bench:高階模型可能同時贏過品質與總成本。
Delegation
−40%
Cognition 分享:以強模型規劃、較便宜模型實作,可降低 Fable 等級 intelligence 的成本。
Cache economics
~10×
維持連續上下文的 cached token,成本約可低一個數量級。
Routing trigger
Out-of-dist.
不是只看任務標籤;要辨識模型何時已離開擅長的問題分布。
Core story

路由系統常犯的三個錯

錯 1

把 benchmark 勝率當成執行策略

「這類任務用 A、那類任務用 B」在單輪問題或許成立;但 agent 的工作會改變性質。開始時是詢問 codebase,稍後可能是修改、測試與 production debugging,起始選擇未必還適用。

錯 2

只看每 token 價格,忽略失敗迴圈

小模型被推到能力邊界時,可能反覆叫工具、走錯分支,再把更多 token 花在修正。路由評估要納入完成任務所需的重試、工具呼叫與人工介入。

錯 3

為省錢過早壓縮上下文

壓縮會造成 cache miss,並可能讓品質在理論上的百萬 token 窗口前就明顯下滑。影片主張,compaction 應優先為保持推理品質而做,而非只為縮短帳單。

Decision map

影片提供的可行架構

強模型負責規劃,低成本模型負責可拆的實作

規劃模型先界定目標、風險與可委派工作;實作者可平行探索,讓較低成本的推理換取更多搜尋廣度。

在需要時保留一位持續上下文的 sidekick

不是每件事都適合拆成子 agent。連續上下文可保留 KV cache,避免每次切換都重新支付理解 codebase 的成本。

讓模型能表達「我不在擅長範圍」

把不確定性、重試模式、工具失敗與品質訊號當成升級或改路由的觸發器,而非等到整個任務失敗。

把路由視為產品能力,不只是底層 plumbing

OpenRouter 的案例顯示,同一 app 也可能同時有低成本 heartbeat 與高 intelligence 請求;產品層的使用模式決定路由真正要解的問題。

Practical checklist

做 agent 路由前,先回答這五題

我們優化的是單次價格,還是成功完成工作的總成本?將工具迴圈、重試、延遲與人工接手一起計入。
任務在執行中何時會跨越能力邊界?定義可觀察的升級訊號,例如工具失敗、重複嘗試或不確定性上升。
哪些工作可安全地委派或平行探索?先由強模型拆解,再把可驗證的子任務交給成本較低的 worker。
快取與 compaction 的品質代價是什麼?不要只用 token 長度做切換條件;測量 cache miss 後的任務品質。
同一產品是否包含不同 intelligence tier?把 heartbeat、背景任務與高風險決策分開建模,而不是套一條全域路由規則。
Source video

原影片與章節

重點章節:4:25 規劃與委派 · 9:42 靜態路由的脆弱性 · 26:41 heartbeat 與 auto router · 31:51 compaction vs routing · 43:20 產品或 plumbingYouTube 原始影片