Ziv Ilan, NVIDIA · 18:46
這支影片在講：你可能不需要 50 個 Diffusion Steps
NVIDIA 的 Ziv Ilan 把即時 video diffusion 的路徑拆成三層：先用量化降低記憶體與計算成本，再用 caching 跳過幾乎沒變的 latent 區塊，最後用 step distillation 把 20-50 步壓到 4、8，甚至 1 步。
Published: 2026-06-16Video ID: gHs5ZiY80PM
01 / 問題
Diffusion 慢在反覆去噪
影像與影片模型常要跑 20 到 50 個 denoising steps；品質上來後，真正卡住產品化的是 latency、scaling 與成熟 serving stack。
02 / 反轉
不是只靠更大 GPU
量化能降 memory，caching 能避免重算，distillation 能直接減少步數。這些技術可以疊加，不是互斥選項。
03 / 解法
把 50 步變成少數幾步
Step distillation 讓 student model 學會用 4、8 或 1 step 接近 teacher output，是靠近 real-time video generation 的關鍵路徑。
Watch for this
影片最值得抓的四個訊號
Default loop
20-50
典型 diffusion 需要多輪去噪；即時體驗先被步數拖慢。
Target path
4 / 8 / 1
Step distillation 的目標是少量 steps 仍保住影像或影片品質。
Reported upside
10-200x
講者把大幅 speedup 連到 real-time generation 的可行性。
GTC demo
1 B200
NVIDIA demo 在單張 Blackwell B200 上做到接近即時影片生成。
Core stack
把 diffusion 推向即時的三層堆疊
層 1
Quantization：先吃掉低垂果實
量化在 diffusion 上不像 LLM 那麼直接，因為模型更 attention-heavy，但仍能降低 memory footprint，讓模型跑在較低階 GPU 或用更少資源服務。影片中特別提到 Black Forest Labs 的 Flux 2 dynamic quantization，以及預量化 checkpoint 對使用者的便利性。
層 2
Caching：不要重算幾乎沒變的地方
Diffusion 不是自回歸 token 生成，不能直接照搬 KV cache。講者用 T-cache 與 chunk-based caching 解釋：如果 denoising steps 之間某些 pixel / latent 區域變化很小，就只重算真的改變的區塊，但 threshold 設錯會傷害品質。
層 3
Step distillation：最有衝擊力，也最需要訓練能力
Diffusion distillation 不是把模型參數變小，而是讓 student model 用更少步數達到 teacher 的品質。Trajectory-based 方法要求 student 跟著 teacher 的 denoising 路徑走；distribution-based 方法只要求最後落在同樣的 output distribution，講者認為後者目前更常見、品質也更好。
Design trade-offs
真正的取捨不是速度，而是速度乘上品質
量化不是萬靈丹PTQ 最簡單，但 diffusion 對品質更敏感；dynamic quantization 能跟著資料分布調整 range，適合先驗證。
Caching 要有品質閥值跳過重算可以加速，但影片提醒 content creators、world models 與高品質影像工作流不能只看 throughput。
Distillation 需要資料與 eval通用 demo 可用 open-source data，但 protein generation 這類特定 domain 需要自己的 data distribution 與評估方式。
FastGen 把流程工程化FastGen 不是單一 distillation method，而是處理 post-training、GPU sharding 與 large video diffusion model recipe 的 open-source 框架。
Implementation path
如果你要優化自己的生成模型，照這個順序想
先問：目前瓶頸是 memory、單步算力，還是 step count？量化主要處理 memory 與部分 performance；distillation 才是直接減少 denoising steps。
先試容易回滾的 optimization從預量化 checkpoint、TRT LLM visual gen flag、caching threshold 這類可測項目開始，不要一開始就進 post-training。
把品質指標放進加速實驗任何 caching 或 distillation 都可能把影像細節、時間一致性或 domain-specific output 弄壞；沒有 eval 就不知道省下的時間是否值得。
Distillation 前先準備資料分布如果你的 use case 跟通用影片很不同，open-source data 只能到某個點，後續需要自己的 data 與 recipe tuning。
把優化視為可疊加的路徑影片的重點不是三選一，而是 quantization、multi-GPU / context parallelism、caching、distillation 可以逐層疊上去。