AI Engineer onepage / controlled workflows
速讀 · 結構 · 風險邊界 · source
Eduardo Simon & Javier Casal · Flywire · 約 16 分鐘

這支影片在講:讓 Agent 判斷,但別讓它接管工作流

Flywire 的 Orbit 把模型步驟嵌進可審查的 YAML workflow:固定的觸發、部署與執行交給程式;模型只在明確、受限的位置閱讀程式碼、產出結構化判斷。這讓重複性工程工作可規模化,卻不把寫入權限與控制流程交給一個即興的 agent。

AI Engineer · 2026-10-12 · Video ID: rAUyRDOFyHU
01 / 問題

自由發揮會毀掉可預測性

讓 agent 直接規劃、改檔與重試,容易把一次失敗變成重複副作用。企業既要模型的判斷,也要現有工程系統的審查與可追溯性。

02 / 反轉

流程不是 agent 的敵人

YAML workflow 走和其他程式碼相同的 merge request;它宣告每一步可用的工具與存取權,讓模型能力可以被封裝、複用與審核。

03 / 解法

把不確定性限縮成 typed step

控制流程、外部動作與 session state 留給 runtime;模型讀取上下文後輸出結構化結果,再由確定性的下一個分支消化它。

Signals

四個最具體的落地訊號

Adoption400平台約服務 400 名工程師;新 workflow 仍從少量真實案例開始驗證。
Observed use9,700+30 天內的 code review runs;模型能讀程式碼,卻不直接修改它。
Access modelper step網路、工具、skills 與 MCP server 都是逐步授權,而非 session 預設全開。
Important caveat≠ correct執行成功率只表示跑完,不代表答案正確;golden data 與 online eval 仍在建立。
Core story

Orbit 刻意分開的三件事

01

Orchestration:何時做、做哪個流程

觸發器與 YAML 定義進入既有 code review 與部署路徑。把 workflow 視為工程產物,能讓 ownership、版本差異與回退方式跟其他服務一致,而不是藏在 prompt 或某個人的操作手冊中。

02

Execution:可受控的工具與副作用

每一步限定網路、工具、skills 與 MCP server;runtime 加上 timeout、rate limit 與 lock,避免相同事件重複執行。這些控制應在模型之外,因為它們不能依賴模型「記得小心」。

03

Session state:把模型輸出變成下一個明確分支

結構化輸出驅動後續流程,而不是讓自然語言自行解釋。模型負責辨識、分類或提出建議;程式則決定是否建立 issue、等待人工審查或執行下一個安全動作。

Design trade-offs

這不是「全自動」與「全人工」的二選一

模型判斷 vs. 程式控制適合由模型處理語意、分類與彙整;觸發條件、存取權、重複執行與外部副作用則必須是可測、可預期的程式規則。
可複用技能 vs. 全域權限把常用能力做成 shared skill 能提升一致性,但每個 workflow step 仍應聲明它真正需要的工具與網路邊界。
run success vs. 任務品質完成一次執行不能證明 code review 有價值。新流程先跑少量真實案例,再用 golden dataset、抽樣審查與線上指標補品質證據。
背景自動化 vs. 明確 ownership重複且可定義的工作值得背景化;不清楚的失敗、模稜兩可的輸出與高風險動作,必須設計成能停下來交給人的分支。
Checklist

把 agent 納入工程流程前,先補齊這五項

用版本控管定義 workflow讓觸發器、步驟與變更都經過與產品程式碼相同的 review、部署與 rollback 流程。
為每個 step 寫出最小權限清單逐一限制可碰的 repository、工具、MCP server、網路目的地與寫入動作;不要以「整個 agent」授權。
在 runtime 做冪等與併發保護為 timeout、rate limit、lock 與重送定義行為,尤其是會建立 ticket、提交變更或通知人的流程。
強制模型輸出符合可解析契約用 schema/structured output 連接下一個 branch;解析失敗或低信心時,明確轉到 review 而不是自由重試。
分開監測「跑完」與「做對」記錄執行成功率之外,為高價值流程維護 golden cases、人工抽樣與線上結果指標,讓自動化可持續校正。
Source video

原影片與章節

0:00 Flywire 與平台背景 · 1:58 Orbit 的起點 · 3:35 為何沿用既有基礎設施 · 4:17 YAML 與受限 code review · 5:46 triggers 與使用情境 · 8:29 runtime 與 orchestration 分離 · 9:21 limits、locks 與 execution environment · 11:04 per-step access · 13:10 structured output 與 eval 缺口 · 15:40 adoption 與 roadmap · YouTube 原始來源