Apple Developer onepage/WWDC26
#WWDC26#Xcode27#AppleIntelligence#CoreAI2026-06-17 · 1:27:52

Apple Intelligence 與 Xcode：WWDC26 的 AI app stack 全景圖

這場 Special Presentation 把 Xcode 27 agentic coding、App Intents、Foundation Models、Core AI 與 MLX 放在同一條開發路線上：從寫 code、暴露 app 能力，到部署模型與擴大訓練。

// 一句話結論

Apple 的 AI 開發策略不是單一模型 API，而是一組從 IDE、語意意圖、私有推論、on-device model 到研究訓練的分層工具鏈。

Apple Developer · WWDC26 · Video ID: Wpwjqk1UGnQApple Developer 官方頁
Decision map

五個 layer，各自解決不同開發問題

Xcode

讓 agent 進入日常開發循環

Xcode 27 的 agentic coding workflows 聚焦規劃、建 SwiftUI views、localization string catalogs 與 plugins，目標是讓 IDE collaborator 理解整個 codebase。

App Intents

讓 Siri 理解 app 的資料與動作

透過 entities、annotations、interaction donations、semantic index，把 app 能力建模成系統可用自然語言驅動的語意層。

Foundation Models

把 LLM 放進 app experience

WWDC26 擴充 multimodal image input、Private Cloud Compute、third-party models、Evaluations 與 model abstraction，讓 app 能選擇合適模型與驗證品質。

Core AI / MLX

從 inference 到研究訓練

Core AI 管 on-device inference、conversion、AOT compilation 與 performance tuning；MLX 則面向 Apple silicon 上的數值運算與 distributed computing。

Chapters

官方章節整理

0:00:01

Welcome

總覽 machine learning 與 intelligence 更新：Xcode 27 agentic coding、App Intents、Foundation Models、Core AI 與 MLX。

0:07:30

Xcode 27

agent workflow 橫跨整個 codebase，可協助 planning、SwiftUI UI build、localization 與 plugin-based tool extension。

0:26:47

App Intents

把 app data / capability 建成 entities，搭配 entity annotations、interaction donations 與 semantic index，讓 Siri 能用自然語言行動。

0:43:24

Foundation Models framework

支援 multimodal image input、Private Cloud Compute、third-party models 與 Evaluations framework，擴大 app 內 LLM 的部署選項。

1:01:20

Core AI

介紹 on-device AI execution、Swift API、Python conversion tools、ahead-of-time compilation，以及 Apple silicon performance customization。

1:13:46

MLX

聚焦 Apple silicon 上的 machine learning / numerical computing，並提到多語言與 distributed computing 能力。

1:26:01

Next steps

建議回到超過 100 場 session、Group Labs，以及 Apple Developer 網站的新 AI-powered search。

重點 1：Xcode 27 把 agent 放進 IDE，而不是只放在旁邊聊天

官方摘要強調新的 agentic coding workflows 是跨整個 codebase 的 collaborator。這代表 agent 的價值不只是在單一檔案補 completion，而是能理解專案、規劃工作、生成 SwiftUI view、處理 localization string catalogs，並透過 plugins 擴展工具。

實務上，這會把 code review 和 branch hygiene 變得更重要：agent 做得越多，團隊越需要可重跑的 tests、清楚的 task boundary、以及對 generated diff 的審查習慣。

重點 2：App Intents 是 Apple Intelligence 的 app contract

若 app 要讓 Siri 或 Apple Intelligence 正確理解內部資料，就需要把資料與功能建模為 entities、intent、annotations 與 donations。這不是單純新增 shortcut，而是把 app 的行動能力暴露成系統可推理的語意 contract。

Entity model把使用者內容、物件與狀態變成 Siri 能引用的資料模型。
Semantic index讓系統能找到 app 內相關內容，支持自然語言查找與行動。
Interaction donations把使用者常做行為變成可被推薦或理解的 context。
Annotations在通知、Now Playing、alarms 等入口讓系統知道畫面或事件中的可行動 entity。

重點 3：Foundation Models、Core AI、MLX 分工不同

Foundation Models framework 解決的是 app 內如何調用與組合語言模型，包括 on-device、Private Cloud Compute、third-party / open-source provider、multimodal input 與 Evaluations。Core AI 解決的是 on-device model deployment：conversion、Swift inference API、AOT compilation、profiling 與 performance tuning。MLX 則面向 Apple silicon 上更底層的數值運算、研究與訓練擴展。

導入時不要把這些都當成「AI API」。如果你要 app 內 LLM experience，先看 Foundation Models；要部署自訂模型到裝置上，先看 Core AI；要做 research / training / distributed workloads，才進 MLX。

風險與遷移注意事項

agentic coding 需要測試與審查讓 agent 改 code 前，先建立 test fixture、lint、review rubric 與小步 diff。
App Intents 要避免語意債entities、display representation、annotations 和 search index 一旦被系統使用，就會成為長期 contract。
模型選擇不能只看能力on-device、PCC、third-party、custom provider 各有 latency、privacy、成本、可用性與 fallback 問題。
Core AI performance 要用真機量測AOT compilation、specialization、memory footprint 與 Instruments profiling 要進 release gate。

實務導入順序

1. 先補 app semantic layer沒有清楚 App Intents / entities，Siri 和 system intelligence 很難安全地操作 app 內容。
2. 再選模型 runtime依資料敏感度、latency、offline 需求與模型能力決定 Foundation Models、Core AI 或 provider。
3. 建 evaluation使用 Evaluations framework 或自建測試集，避免 AI 功能只靠 demo 感覺驗收。
4. 用 Xcode agent 改善 workflow讓 agent 先處理低風險、可測、可 review 的開發工作，再擴大到產品核心。

來源

主要來源為 Apple Developer 官方影片頁的 Summary、章節、資源列表與 YouTube metadata。官方頁：Inside Apple Intelligence and Xcode: Special Presentation - WWDC26。YouTube：Inside Apple Intelligence and Xcode: Special Presentation | WWDC26。