AI Engineer onepage/ Computer-Use 2.0
Francesco Bonacci · Cua · 約 16:41
這支影片在講：不搶游標，也能讓多個 Agent 同時操作桌面
Cua driver 不再控制螢幕上的硬體游標，而是直接呼叫作業系統的 accessibility layer。這讓背景視窗也能接收點擊與輸入；人類繼續工作時，多個 agent 可並行處理不同 app。
Published: 2026-07-15Video ID: ZSQb5fzRFPw
01 / 問題
游標是單一瓶頸
傳統 GUI agent 會接管使用者焦點；一次只能有一個操作者，背景工作與人的操作都互相干擾。
02 / 反轉
改接 accessibility layer
Windows UI Automation、Linux AT-SPI、macOS AX 能直接向指定視窗送事件，無須移動硬體游標或切換前景。
03 / 解法
用 benchmark 守住可信度
不只展示並行操作；以可驗證任務、對抗 reward hacking 與跨平台環境測出實際完成率。
Signals
影片最值得抓的四個數字與轉折
Concurrency
3 agents
示範同時在三個不同 app 中點擊、輸入與捲動，使用者游標不動。
CUABench
130+
42 個環境、5 個平台上的可驗證任務；資料集先接受多種 agent 的 reward-hacking 攻擊。
4K benchmark
62% → 80%
以 cua driver 取代標準 computer tool 後，pass rate 提升 18 個百分點。
Token cost
−34%
聚焦單一視窗而非整個螢幕，降低視覺觀察與推理負擔。
Core story
從「看螢幕」走向「能安全操作系統」的三個設計決策
決策 1
把輸入送往目標視窗，不是送往目前焦點
driver 透過各平台 accessibility API 與 UI 元件互動，背景視窗仍可收到 click 與 keystroke。這使 agent 並行化成為可能，也把「誰擁有控制權」改成系統可管理的問題。
決策 2
把螢幕範圍縮成任務範圍
只觀察與操作一個窗口，減少不相關像素與上下文。62% 到 80% 的提升與 34% token 節省，提醒我們 computer-use 的感知邊界本身就是產品設計。
決策 3
把「可通過」改成可驗證的完成
CUABench 先用多個 agent 對任務進行 reward-hacking 測試，再納入 benchmark。對 GUI agent 而言，看到看似成功的畫面並不足夠，結果必須可被環境獨立驗證。
Limits matter
最有價值的警訊：複雜領域不能只靠更好的點擊
真實 CAD / EDA 仍很難與 Snorkel AI 在電路設計軟體建立的 25 個任務中，最佳模型只完整通過 6 個；而且全是「修改既有 schematic」。
從空白開始是另一個能力層級一旦要求從 blank schematic 建立設計，所有受測模型都降為 0%。GUI 操作成功不等於具備領域規劃、約束理解與驗證能力。
平行化需要權限與隔離設計背景輸入能提高吞吐，卻也擴大副作用半徑。每個 agent 要有最小權限、可觀察 trace 與可撤回的操作界線。
benchmark 要防「看起來完成」任務驗證要貼近業務結果，並在收錄前主動測試 reward hacking；否則 pass rate 只是在量模型如何迎合 evaluator。
Use this checklist
如果你在做 computer-use agent，先檢查這五點
是否能明確指定操作的視窗／資源？避免所有 agent 共用前景游標與焦點；將任務目標、可見範圍與輸入路由綁定。
感知範圍是否只包含決策所需資訊？優先讓 agent 看單一工作區與必要狀態；完整桌面是成本與干擾來源。
每個任務的結果能否獨立驗證？不要以畫面、按鈕或最後一句模型文字當完成信號；定義可重現的驗收條件。
是否先測過 reward hacking 與副作用？在 benchmark 與 production workflow 之前，故意找出能鑽 evaluator 漏洞、誤送輸入或越權操作的路徑。
有沒有保留人工復原與 audit trace？並行 agent 的價值來自速度，但可追溯、可中止與最小權限才能讓速度真正可用。
Source video