Core AI：從 PyTorch 到 Swift app 的 on-device inference pipeline
這支 WWDC26 short 指向完整 session「Meet Core AI」：Apple 把模型轉換、最佳化、Swift inference API、Instruments profiling、debugger、specialization 與 AOT compilation 收成一套 on-device AI deployment 工具鏈。
Core AI 不是單一 runtime，而是 Apple Silicon 上的模型部署生命週期：用 Python / PyTorch 轉換與驗證，用 Swift 跑 inference，再用 Xcode、Instruments、Debugger 與 cache 管理把性能和使用者等待時間控住。
這支影片背後的開發者問題
想把 AI 放進 app，但不想每次都打 server
Core AI 主打 on-device inference：資料留在裝置、可離線、沒有 per-token 伺服器成本，並能用 CPU、GPU、Neural Engine。
模型不是「拖進 app」就結束
完整路徑包含 PyTorch authoring、torch.export、Core AI conversion、數值驗證、Xcode 模型檢視、Swift integration 與 profiling。
latency 會被 state、memory layout 與 allocation 吃掉
session 用 snake AI demo 展示 key/value cache、NDArray optimal layout、preallocated outputs 與 async values 如何降低 tight inference loop overhead。
模型 specialization 不能卡在互動流程中
模型第一次載入需要針對裝置 specialization；大型模型可能花明顯時間。要用 cache、explicit specialization 與 AOT compilation 管理等待。
Core AI 的導入流程
從模型與 app feature 需求開始
先定義 latency、memory、privacy、離線可用性、硬體族群與品質指標，再決定模型大小與部署方式。
用 Core AI Python / Torch 工具轉換
torch.export 時保留必要 dynamic shapes，套用 Core AI decompositions，再用 TorchConverter 產出 .aimodel。
在 Python 端做數值驗證
用同一組 input 比對 PyTorch 與 Core AI output，依 use case 設定可接受 delta；不要把 conversion 當黑箱。
用 Swift API 載入 AIModel 與 InferenceFunction
把 input / output 放進 NDArray，用 InferenceFunction.run 執行；效能敏感路徑再進一步控制 state、layout、output allocation。
用 Instruments、Debugger 與 cache 管理上線風險
追 latency、看 Core AI activity、檢查 tensor 值與 Python source 對應，並把 specialization / AOT compilation 排除在使用者互動熱路徑外。
實務啟發：Core AI 把 ML engineering workflow 接回 Apple app workflow
Meet Core AI 的重點不是「又多一個模型格式」，而是把 Python / PyTorch 的模型開發與 Xcode / Swift app 整合放在同一條線上。模型可以先在 Python 端被轉換與驗證，再進 Xcode 檢視 function signature、model size、operation distribution，最後以 Swift API 進入 app runtime。
如果團隊已經有 ML training / evaluation pipeline，Core AI 的導入重點會是 conversion reproducibility、numerical parity、device specialization、profiling evidence 與 cache policy，而不是只看 demo 能不能跑。
API / toolchain 重點
Core AI Torch / Python
負責模型轉換、authoring、optimization 與驗證，能與 familiar Python / PyTorch workflow 接軌。
AIModel / InferenceFunction / NDArray
Swift 端核心型別：載入模型、取得可執行 compute graph、準備多維 input/output 並讀取 inference 結果。
Instruments + Core AI Debugger
Instruments 查 latency 與 performance；Debugger 可視化模型並檢查 intermediate tensor，追回 Python source。
AIModelCache + AOT compilation
管理 specialization cache、顯式預先 specialization、刪除不用模型，也能用 ahead-of-time compilation 把部分編譯成本移到開發機。
風險與遷移注意事項
不要跳過數值 parity
PyTorch output 與 Core AI output 要用代表性 input 比對；dynamic shapes、decomposition、custom op 都可能影響誤差。
首跑 specialization 要產品化
大型模型第一次 specialization 可能慢；應在 onboarding、下載後或 feature opt-in 後預先處理，而不是按下按鈕才卡住。
tight loop 要控制 allocation
高頻 inference 不應每次做 layout conversion 或 output allocation；需要 NDArray layout、preallocated output、state cache 與 async pipeline。
on-device 不等於不需要 evaluation
隱私、離線與成本優勢不會自動保證品質；仍要針對模型準確率、延遲、電量、memory、fallback 與失敗模式設計測試。
來源
主要來源為 Apple Developer YouTube short、Apple Developer 官方完整 session「Meet Core AI」與其 transcript / chapters。YouTube：Deploy models on-device with Core AI。官方頁：Meet Core AI - WWDC26。
- Core AI 的價值是把模型部署生命週期做完整：convert、verify、integrate、profile、debug、specialize。
- Swift app 端要把 AIModel、InferenceFunction、NDArray 與 cache / state 策略視為正式 runtime 架構。
- 上線前最該測的是 numerical parity、first-run specialization、tight loop latency、memory、fallback 與使用者等待體驗。