AI Engineer onepage/ OUCH decision design
Amit Desai, Roku · 20:24
這支影片在講：AI 不確定時，不必硬猜答案
Amit Desai 把語音助理的問題從「再提高一點準確率」改寫成「在什麼情況該直接做、先確認、或乾脆停止」。即使準確率固定在 79%，用正確的行為門檻仍能把使用者痛點幾乎砍半。
Published: 2026-09-15Video ID: Zd5b40Jbp_k
01 / 問題
準確率沒有說完故事
播放錯歌的代價，是使用者辨識、打斷、停止再重說；一句「我沒聽清楚」通常只多幾秒。兩者不應被同等看待。
02 / 反轉
直覺門檻可能更糟
看似保守的 65% 信心門檻，不一定接近最佳解；在此案例中，真正最小化成本的停止門檻是 43%。
03 / 解法
讓系統有三種回應
以 confidence 與成本函數分區：高信心直接做、中間先確認、低信心停止。重點不是多一個 fallback，而是可估算的決策。
Signals
影片最值得帶走的四個訊號
Accuracy
79%
模型準確率全程不變；改善來自行為決策，不是模型升級。
Threshold
43%
加入「停止」後，案例中的最佳信心門檻低於直覺設定的 65%。
Behaviors
3 種
Act、Confirm、Stop，將一條門檻擴為兩條、三個決策區間。
Objective
OUCH
Outcome User Cost Heuristic：最小化結果造成的使用者成本。
Core story
把「猜錯」拆成三個可管理的決策
01
先把錯誤換成真實的使用者時間與摩擦
一千個音樂請求中，790 個正確。若系統永遠行動，210 次錯播會迫使人聽見錯誤、打斷系統、再提出請求；若直接停止，使用者則只需重說。OUCH 的第一步，是承認這兩種失敗成本不同。
02
用成本曲線找門檻，不用產品直覺猜
停止不是免費，因為它也會拒絕一些本來可成功的請求。把「錯做、正做、錯停、正停」各自賦予成本後，便能掃描不同 confidence threshold，選出總成本最低的點。
03
再加入確認，讓模糊區不再非黑即白
當低信心時停止、高信心時行動之外，系統可以在中間區域先複誦或展示選項確認。這將決策變成兩個門檻與三個區間，通常可再壓低總使用者成本。
Design trade-offs
為什麼同一套方法能搬到電視與具身 AI
介面會改變成本函數在純語音中，確認要多一輪對話；在電視上可直接顯示候選項目，確認的成本下降，因此最佳門檻也會跟著移動。
具身錯誤通常更昂貴從錯播歌曲到錯誤操作穿戴裝置或機器人，錯誤的後果、可逆性與人類介入時間都不同；這正是成本模型該顯式處理的地方。
別只優化模型分數accuracy、ASR 或 intent 指標仍重要，但不會自動告訴你產品該不該行動。決策政策需要另一套以結果為中心的衡量方式。
成本要由情境定義與校正等待、打斷、重試、錯誤後果與 UI 協助的成本，不是通用常數。應以研究、日志與實驗，為特定工作流逐步校準。
Use this checklist
替不確定的 AI 功能設計行為前，先問五件事
你的錯誤類型是否被一個 accuracy 平均數掩蓋？列出錯做、拒做、確認、延遲與人類接手，避免把後果完全不同的失敗混成單一百分比。
每個結果的使用者成本是什麼？以秒數、重試、注意力、信任損耗與安全風險描述成本；先做相對排序，再逐步用資料校正。
是否只提供「做」與「不做」？檢查能否加入明確的 confirm 路徑，特別是高代價但仍可藉由簡短互動消除歧義的任務。
門檻是否是憑直覺設定？離線用歷史樣本掃描門檻，並以 A/B 或受控測試驗證；不要假設 0.5、0.65 或 0.8 天生合理。
換一個介面後有重算政策嗎？語音、螢幕、穿戴裝置與機器人的確認成本不同；UI 改版或場景改變後，舊門檻不應原封不動沿用。
Source video