Soukaïna Abelhad · 約 6 分 28 秒

這支影片在講：別讓「70% 自動化」成為沒有分母的承諾

技術盡職調查不該從模型能力開始。面對投影片上的自動化比例，先追問：產出成長時人力是否真的下降？哪一段工作真的能不靠人完成？評估結果是否經得起領域專家檢查？

AI Engineer · 2026-10-13 · Video ID: gDRCpTMCqEU

01 / 問題

比例掩蓋了人力

「70% automated」可能只是在描述模型參與過多少工作，不代表人工 review、訓練、升級處理與重工已消失。

02 / 反轉

AI-attributed work 與一個任務能 straight-through 完成是兩種主張。後者必須能指出流程邊界，讓買方檢查。

03 / 解法

以每件「被接受的自主任務」計價，將模型、人工審查、escalation 與重工都算進去；失敗也不能從分母消失。

Signals

Claim70%範例中的自動化宣稱；沒有工作定義與分母，本身不是營運證據。

Check 1人力 / 產出工作量增加時，fully loaded labor 是否等比例增加？這能先區分 assistance 與勞動替代。

Check 2STC ratestraight-through completion 必須對應一個命名流程與清晰邊界，而非模糊的 AI 參與度。

Cost unitaccepted task把品質門檻放進成本單位，避免只量模型輸出量卻忽略修正與人工接手。

Core story

先把宣稱的自動化與實際交付工作放在同一張圖上。若 workload 成長伴隨同比例的 reviewer、trainer、escalation 與 rework，人類只是從第一線操作移到例外處理；這可能是有效輔助，但不是勞動移除。

要求對方說出 named workflow、起點、完成條件與人工介入點。只有模型曾經碰過的工作，不能當作自動完成；可檢驗的 straight-through completion rate 才能讓不同流程、不同供應商進行比較。

model-as-a-judge 可以提供訊號，但與自動 rubric 一致不等於符合領域品質。追問 expert review 的抽樣、分歧案例與覆核方式，才能知道評估是否只是把同一套偏差放大。

Trade-offs

交付量 vs. 勞動替代更多產出值得肯定，但若人力只換成 QA、修正或 escalation，就應把價值說成 augmentation，而不是直接套用 automation rate。

模型輸出 vs. 被接受結果便宜的生成不代表便宜的交付。品質門檻、人工覆核與失敗回復都會改變真正的 unit economics。

自動評分 vs. 專家判斷自動評估適合擴大覆蓋範圍，卻需要明示適用限制；對高風險或 domain-specific 結果，仍要有獨立的人類校準。

案例說明 vs. 因果證據公開案例與匿名評估可用來示範框架，不能單獨外推成普遍自動化率，或解釋某家公司成敗的因果關係。

Checklist

百分比的分子與分母分別是什麼？是被 AI 觸及的工作、模型成功輸出，還是未經人工即可完成的任務？不要接受未定義的比例。

以產出量校正後，fully loaded labor 如何變化？把 reviewers、trainers、exception handling 與 rework 一起納入，才看得到人力是否真的被移除。

straight-through completion 的流程邊界在哪裡？要求一個可命名、可觀察的 workflow，明確列出何時算完成、何時轉人工。

自動 rubric 與專家評估的落差如何處理？確認抽樣方法、異議處理與高風險案例的人工覆核，不把 judge agreement 當唯一品質證據。

每個被接受的自主任務，實際成本是多少？模型成本、人工 review、escalation、重工與失敗案例都要進帳；這個單位比 token 或總生成量更接近買方決策。

Source video

0:00 自動化百分比漏掉什麼 · 0:55 檢查一：工作量與人力 · 2:13 檢查二：定義自動化邊界 · 3:05 檢查三：評估與專家 review · YouTube 原始來源