Jetashree Ravi · Fireworks AI · 約 19 分鐘
這支影片在講：別只租 intelligence，要能把模型訓練成你的產品
閉源模型能快速開始，卻會把品質、延遲與成本交給供應商。Fireworks AI 的主張是：選擇已成熟的開放模型，用自有資料補足差距，再把訓練、部署、觀測與下一輪資料收集接成一條能持續運轉的生產線。
AI Engineer World's Fair 2026 · 2026-10-11 · Video ID: 13YZ1EB9hjU
01 / 問題
品質不能只靠換更大模型
通用模型很強，但產品的術語、輸出格式與偏好在你的資料裡。若不持續把資料回灌，成本與行為都會被外部模型版本牽動。
02 / 反轉
開放不等於退而求其次
講者認為 GLM 5.2 等開放模型已能上 production；剩下的品質落差，應用客製化與後訓練來關閉。
03 / 解法
訓練與 serving 是同一條迴路
從資料、SFT／RFT／DPO 到部署、監測與 hot loading，不把訓練視為一次性離線專案，而是產品迭代的常態操作。
Platform scale30T tokensFireworks 表示平台已處理約 30 兆 tokens、服務逾一萬家公司。
Cursor case13× fasterCursor 的 Composer 2 在 Fireworks 訓練並 hosted，案例聲稱推論快 13 倍。
Vercel case40× latency影片列舉 Vercel 的延遲改善為 40 倍；應先對照自己的 workload 與量測口徑。
Genspark case+12% quality以 reinforcement fine-tuning 改善品質 12%；提醒團隊先定義可重跑的 product eval。
Core story
Train-to-deploy loop 的三個工程重點
01
先把客製化當作模型策略，而非最後補丁
基礎模型負責一般能力；SFT、RFT 與 DPO 則把你的資料、偏好與可量測任務寫進模型。前提不是「有資料就訓練」，而是能以 eval 證明新權重真的更好。
02
推論引擎決定微調收益能否落地
FireAttention、自訂 CUDA kernels 與 speculative decoding 的目的，是讓客製模型不只在離線 benchmark 贏，還能以可接受的延遲與成本服務。draft model 要和目標模型及流量型態一起評估。
03
版本切換要做到不中斷、數值可對齊
若新權重只能透過長停機部署，迭代頻率會被 release 作業卡住。hot loading 讓新權重進入服務；訓練與 serving 的 numerical fidelity 則避免「離線好、上線變形」。
模型自由度 vs. 維運責任開放權重給你更多控制、模型可攜性與成本選擇，但也把評估、版本、資料與安全責任帶回團隊。
通用能力 vs. 任務品質不是盲目把全部資料灌進訓練；先定義窄而重要的任務與評估，再選 SFT、RFT 或 DPO 的方法。
首 token 延遲 vs. 吞吐量自訂 kernel、attention 優化與 speculative decoding 的收益取決於模型、batch、context 與 acceptance rate，不能直接套用案例倍數。
迭代速度 vs. 可回復性一鍵部署與 hot loading 很誘人，但每份權重必須可追溯、可比較、可回滾；監測是 loop 的輸入，而不是儀表板裝飾。
Checklist
若要建立自己的模型飛輪，先檢查這五件事
先為產品任務建立離線與線上 eval沒有穩定量測，12% 品質提升沒有意義，也無法判定該回滾還是擴大部署。
明確選擇 SFT、RFT 或 DPO 的適用問題SFT 適合範例式行為，RFT 需要能給 reward 的任務，DPO 則依賴可比較的偏好對；別把它們當成同一種按鈕。
把 serving benchmark 放在真實流量下跑包含 context 長度、併發、batch、TTFT、tokens/sec 與成本，才知道推論優化是否真正在產品上成立。
將權重、資料版本與部署紀錄串起來每個線上行為都要能回推到 base model、訓練資料、超參數與 serving 設定，才能除錯與安全回滾。
讓 production feedback 真正回到下一輪訓練監測不只看錯誤率；將經同意、去識別且經品質審核的失敗案例轉成下一輪評估與資料，閉環才會成立。
1:27 開放模型的三個判斷 · 3:47 Cursor／Vercel／Genspark 案例 · 5:27 FireAttention · 6:27 speculative decoding · 7:22 三種訓練方式 · 11:07 data flywheel · 12:42 hot loading · 13:22 numerical fidelity · YouTube 原始來源