AI Engineer onepage/ Paris 2026 · Day 2
主舞台內容地圖AI Engineer Paris 2026 · Main Stage · Day 2
這支影片在講：production AI 不是單一模型，而是一整條工程鏈
Day 2 主舞台把模型客製化、推論、語音、邊緣運算與 coding agent 放在同一個節目裡。最值得看的不是把它當成一場長直播，而是用它建立一張「從模型到可交付系統」的技術問題地圖。
Published: 2026-09-23 · Video ID: g0vqT_wZtXA · 官方說明未列時長與時間碼
01 / 問題
能力不等於系統
模型本身只是起點；實際產品要面對載入路徑、延遲、成本、語音互動與端側限制。
02 / 反轉
瓶頸分散在每一層
從 vLLM 的模型載入、低延遲推論到 PR bottleneck，最難處往往不是再換一個基座模型。
03 / 解法
按介面拆決策
將工作切成模型／資料、serving、realtime、edge、agent workflow 五條線，各自量成功成本與可靠性。
Signals
先抓四個跨議程訊號
Model loading
vLLM
Transformers model 如何被載入與執行，是 serving 可控性的底層問題。
Latency
Realtime
語音與對話系統的體感，取決於整條互動鏈而非單一 token 速度。
Deployment
Edge AI
邊緣推論把效能、功耗、裝置能力與資料路徑一起變成產品決策。
Delivery
PR flow
coding agent 擴大產出後，審查與合併流程可能成為新的系統瓶頸。
Content map
官方列出的主舞台章節
模型
從視覺到機器人、Gemma 4 效率與模型客製化
Jakob Pörschmann（Black Forest Labs）與 Maarten Grootendorst（Google DeepMind）等議程，指向模型能力如何延伸到具身與效率取捨；適合追問資料、架構和部署條件如何共同限制效果。
Serving
模型載入與低延遲推論工程
Harry Mellor（Hugging Face）談 Transformers 在 vLLM 的載入；Charles Frye（Modal）談低延遲推論。這一層的核心是把「可跑」拆成 cold start、記憶體、批次、排程與 tail latency。
互動
身份生成、串流語音與對話 AI 的缺層
ElevenLabs、pyannoteAI 與 Gradium 的題目將焦點放在 voice/realtime。實務上要同時確認音訊串流、轉寫／分段、延遲預算、身份與安全邊界，而非只看模型品質。
交付
大規模 coding task 與 PR bottleneck
Cognition 的 agentic map-reduce 與 Matt Pocock 的 PR 題目，把 agent 從「會寫」推向「如何安全併入既有工程系統」：工作切分、驗證證據與 review capacity 都是必要配套。
Trade-offs
看這場直播時，建議帶著四個問題
吞吐量與即時性，優先哪一個？批次和快取通常有利成本；語音、互動與控制工作流則需要把 p95/p99 延遲當成第一級需求。
模型效率犧牲了什麼產品能力？量化、較小模型或邊緣部署的價值，必須與品質、穩定性、可觀測性及裝置差異一起評估。
語音系統的「身份」由誰控制？高自然度不是唯一指標；授權、辨識、防濫用與可追溯性會決定這類能力能否真正進入產品。
agent 增產後誰驗證？把大型任務 map-reduce 後，仍要為每個子任務保留可驗證輸出，否則 PR queue 只會把瓶頸往後移。
Practical checklist
給 AI 工程團隊的收看／落地清單
把產品延遲拆成可量的鏈路分別看模型載入、首 token、streaming、工具呼叫與最終交付，不用平均值掩蓋互動卡頓。
為每個 serving 取捨設定成功指標將吞吐、成本、p95/p99、記憶體與品質綁到同一份決策紀錄，避免只優化最容易量的一項。
把 realtime 與 edge 當成完整產品面除了模型，預先設計串流失敗、裝置能力、離線路徑、資料處理與可觀測性。
讓 coding agent 的輸出帶著驗證證據進 PR以測試、diff 意圖、風險標記與 review gate，避免吞吐提升變成合併與回歸的壓力。
Source video