AI Engineer onepage/ Tool discipline
Kobie Crawford, Snorkel · 20:55
這支影片在講：不要只把模型做大，要讓它守規矩
Snorkel 的 Kobie Crawford 用一個資料查詢案例說明：235B 模型可以更會「想」，但如果工具使用行為不受控，仍會查不存在的表、拿不到結果後硬編答案；反而 4B 模型經過 RL fine-tuning 後，能先查 schema、修正 SQL 錯誤，最後拿到正確答案。
Published: 2026-06-10Video ID: TNwJ1LMiENk
01 / 問題
大模型也會亂查表
Qwen 3 235B 被問 YouTube 2023 到 2024 廣告營收年增率時，查了不存在的 table，重試失敗後仍 hallucinate 答案。
02 / 反轉
4B 模型靠行為訓練贏回來
Snorkel fine-tuned 的 4B model 先呼叫 get_table_name，看 schema，查詢失敗後修 column error，最後得到正確答案。
03 / 解法
先拆 eval，再寫訓練資料
把任務拆成 rubric，找出缺的是工具紀律、錯誤修復或拒答行為，再針對那個行為產生訓練訊號。
Watch for this
影片最值得抓的四個訊號
Model contrast
235B vs 4B
重點不是小模型一定更強，而是針對行為訓練後，小模型能在特定工作流上更可靠。
Training cost
< $500
這次 RL fine-tuning run 的成本低於 500 美元，讓行為修正不必等到大規模 pretrain。
Transfer
13.9% → 26.6%
單表訓練轉移到 FinQA 較難的多表 reasoning benchmark，分數從 13.9% 到 26.6%。
Core behavior
Schema first
先查 table name / schema，再 query；遇 column error 要修正，而不是拿空結果硬編答案。
Core story
這支 talk 拆出的三個模型行為問題
Issue 1
Reasoning depth 不能取代工具紀律
235B 模型看起來有更強推理能力，但它沒有先確認資料表是否存在。對 data agent 來說，錯的第一步會讓後面所有推理都變成漂亮的錯誤。
Issue 2
失敗後硬回答，比直接失敗更危險
查不到資料時，模型應該暴露 failure state、修正工具呼叫或拒絕回答。影片案例裡的大模型在兩次查詢都沒拿到結果後，仍然 hallucinate 答案，這是 production 風險。
Issue 3
Eval 太粗，就不知道該修哪個行為
如果只看最後答案對不對，團隊會以為需要更大模型或更多資料。Rubric eval 的價值是把錯誤拆成 schema discovery、query construction、error recovery、answer grounding 等可修行為。
Why it matters
這支影片對 agent / AI product 團隊的啟發
把 tool discipline 當成可訓練能力不要只靠 prompt 告訴模型「請先查 schema」。如果這是任務成功的硬需求，就應該進 eval、進資料、進訓練目標。
先用 rubric 找瓶頸，再決定資料怎麼做答案錯不代表需要更多一般資料；可能只缺少「遇到 SQL column error 時如何修正」這類很窄的行為範例。
小模型可靠性可以靠工作流補強4B model 不是通用能力贏過 235B，而是在被訓練成遵守任務工作流後，於這類查詢任務上更可信。
Transfer 要看行為是否可遷移單表訓練能轉移到多表 benchmark，代表被學到的不是某張表的答案，而是「先定位資料、再查詢、再修錯」的程序。
Use this checklist
如果你在做資料型 agent，先檢查這五點
模型是否一定會先做 schema discovery？需要 table name / column / data dictionary 的任務，不應讓模型直接猜 SQL 或猜答案。
工具回傳空結果時，模型會修錯還是補故事？空結果、column error、permission error 都要在 eval 裡單獨看，因為這些是 hallucination 的高風險入口。
你的 eval 是否能指出錯在哪個步驟？把 final answer accuracy 拆成 schema、query、execution、correction、grounding，才知道該收什麼資料。
是否用小成本訓練先修窄行為？來源描述顯示這次 training run 低於 500 美元；先修可觀測行為，可能比盲目換更大模型更快。
你有沒有測單表行為能否轉移到多表？若行為真的被學會，應該能從簡單資料表任務轉移到更難的 multi-table reasoning，而不只是背範例。
Source video