WWDC26：Meet the Evaluations framework

// 一句話結論

如果你的 app 開始依賴 Foundation Models 或其他語言模型，單元測試只能驗證程式碼路徑；Evaluations 要驗證的是「模型在大量情境下是否穩定、安全、值得信任」。

Apple Developer · WWDC26 · Video ID: sexp6TEkoWUApple Developer 官方頁

Session

25:46

官方 transcript 可用

Core type

Metric

定義要測量的品質

Core type

Evaluator

把樣本轉成分數與 rationale

Quality loop

Judge

處理語意與主觀品質

// CHAPTERS

00:00為什麼 AI 功能不能只靠單元測試

04:31建立第一個 Evaluation：dataset、expected output、Metric

08:06用 Swift Testing 跑 evaluation 並讀報告

10:57擴大 dataset，讓樣本涵蓋更多真實輸入

14:20細化 metrics 與 aggregators，做 evaluation-driven development

16:12用 model judge 評估語意品質與理由

24:20最佳實務：問題太廣就拆維度，judge 不懂就補 context

重點 1：測試目標從「固定輸出」轉成「品質分布」

傳統單元測試假設同一個輸入會得到同一個輸出；語言模型則可能在不同裝置、不同模型版本、不同上下文中產生合理但不完全相同的答案。這代表測試策略要從單筆斷言，轉成跨樣本的品質測量。

實務上，這比較像 eval harness：你不是問「這次字串是否完全相等」，而是問「在一組代表性資料上，通過率、平均分數、分布與失敗理由是否達到可出貨門檻」。

Dataset 是產品規格的一部分樣本不只包含 happy path，也要包含模糊、錯字、邊界案例、常見錯誤輸入與高風險內容。

Expected output 不一定是唯一答案Book Tracker demo 用預期 tags 作為理想方向，再透過 metrics 判斷 tag 數量、類型與品質。

Aggregate 比單次 pass/fail 更重要mean、variance、distribution 能揭露模型在不同樣本群的穩定度，而不是只看一個 demo 成功。

Rationale 是下一輪改進線索Evaluator 與 model judge 回傳理由，讓你知道該改 prompt、資料、工具、模型還是產品限制。

重點 2：Evaluator 適合量化規則，model judge 適合語意品質

影片先從比較明確的量化規則開始，例如 tag 數量是否在範圍內、是否包含已知 genre、是否出現多字詞 tag。這類規則適合用 Metric 與 Evaluator 寫成 deterministic evaluator。

當你要測量「標籤是否貼切」「摘要是否保留重點」「答案是否有幫助」這類語意問題，就需要 model judge。Apple 的建議是把問題拆成 score dimensions，避免 judge 只給一個模糊總分。

重點 3：Evaluation-driven development 是 AI 功能的迭代方式

先建立 baseline

不要直接改 prompt。先跑現有 feature，取得目前通過率、失敗樣本與 rationale，避免靠感覺調參。

一次只改一個變因

可能的變因包含 instructions、schema、tools、model profile、dataset sampling。每次只改一個，才知道品質變化從哪裡來。

把 eval 放進 Swift Testing

影片示範用 Swift Testing 跑 evaluation 並設定 optimization target，讓品質門檻進入開發流程，而不是 release 前人工抽查。

風險與遷移注意事項

不要把 judge 當真理Model judge 仍可能偏誤或不理解產品語境；需要補 context、拆 dimensions，並用人工審查校準高風險指標。

資料集會老化使用者行為、模型版本與產品功能會變，eval dataset 必須跟著更新，不然會只測到舊世界。

平均分數會掩蓋尾端風險除了 mean，也要看失敗群、variance 與特定 scenario 的 breakdown，尤其是安全、隱私、品牌語氣與高價值交易。

生成樣本要標註來源SampleGenerator 可以快速擴資料，但 synthetic samples 不能完全取代真實產品資料與手工標注。

來源

主要來源為 Apple Developer 官方影片頁、官方 transcript、章節與資源連結；YouTube 影片頁用於 iframe 與發布 metadata。官方頁：Meet the Evaluations framework - WWDC26。YouTube：WWDC26: Meet the Evaluations framework | Apple。

// TL;DR

→Generative AI 功能不能只靠傳統單元測試，因為輸出是機率性且可能隨上下文變動。
→Evaluations framework 的核心是 dataset、Metric、Evaluator、aggregator 與 model judge。
→先用明確規則測量可量化品質，再用 judge + score dimensions 評估語意品質。
→把 eval 放進開發迴圈，讓 prompt、schema、tool 與 model profile 的修改有可比較的品質依據。