Apple Developer onepage/ WWDC26
#WWDC26#RealityComposerPro#visionOS#RealityKit2026-06-08 · 21:52

用 Reality Composer Pro 3 把空間互動原型留在編輯器裡

這場 session 示範如何用 Animation Graph、Behavior Tree、Script Graph、Navigation Mesh、Compute Graph 與 Shader Graph,讓角色動畫、AI 行為、互動事件與粒子特效在 Reality Composer Pro 裡快速組裝與測試。

// 一句話結論

Reality Composer Pro 3 的重點不是多幾個節點,而是把「動畫、行為、互動、路徑、特效」收斂成可視化工作流,讓設計與工程在真正進 Swift 前先把 spatial scene 跑起來。

Apple Developer · WWDC26 · Video ID: 6cQCcKOw0ycYouTube 原始影片
Content map

影片其實在拆一個角色互動場景的六層問題

Animation

先讓角色動得自然

Animation Graph 用 state machine、animation clips、transition conditions 與 runtime parameters,在 idle / walk 之間平滑切換,避免互動開始前角色就顯得僵硬。

Behavior

再把 routine 寫成可調整的行為樹

Behavior Tree 以 composite node 控制流程、action node 執行轉向、移動與等待,讓角色先到桌邊準備,再移動到 cauldron。

Interactivity

事件不一定要先進 app code

Script Graph 是 event-driven 的 visual scripting。影片用 tap gesture 設定 boolean input,讓角色從「等待」切換到「開始熬煮」。

Scene intelligence

路徑與障礙交給 navigation mesh

Navigation Mesh 定義可走表面,Navigation Controller 依 mesh 自動避開障礙;off-mesh connection 則能連接橋、梯子等不連續路徑。

Implementation flow

把一個 spatial scene 從靜態資產變成可玩的流程

1

用 Animation Graph 建角色狀態

定義 idle / walk state、transition 條件與 isWalking 這類 runtime parameter,先確定角色在不同狀態間的視覺連續性。

2

用 Behavior Tree 描述任務順序

用 sequence node 讓 rotate、move、wait 依序執行,再把桌子位置、移動速度與旋轉速率做成 inputs,方便在 editor 內調整。

3

用 Script Graph 接上使用者事件

當使用者 tap 角色時,把 readyToBrew 設為 true;Behavior Tree 的 precondition 通過後,角色才往下一個行為段落移動。

4

用 Navigation Mesh 讓移動變成環境感知

把 walkable surface、障礙物、sampling detail 與 off-mesh connection 設好,讓角色可自主尋路,而不是沿硬編碼路徑穿過場景。

5

用 Compute / Shader Graph 完成視覺回饋

Compute Graph 建 GPU-driven particle simulation,Shader Graph 調材質與 portal / hair-fur shader,讓互動結果不只是狀態變更,也有可感知的視覺反饋。

Developer takeaways

導入價值:把 prototype loop 從「build-run」改成「editor-play」

影片中的 alchemy scene 並不是展示某個單一 API,而是在展示一個 authoring loop:角色動畫、行為樹、互動事件、尋路與特效都能在 Reality Composer Pro 3 的 graph workspace 中組裝、播放、調整。對 visionOS 或 spatial web 團隊來說,這意味著早期原型不必每次都靠工程寫完整 runtime。

最適合先導入的場景,是 NPC routine、教學導覽、互動展示、產品展間、遊戲前期 prototype,以及任何需要大量調整 timing / motion / visual feedback 的 spatial experience。

協作方式

設計師可直接驗證行為

graph-based tools 讓非工程角色能調整狀態、節點順序與視覺效果,但仍需要工程師定義好資料模型、runtime bridge 與可維護邊界。

技術邊界

不要把所有邏輯都塞進 graph

商業規則、同步狀態、資料持久化與複雜 Swift 系統仍應留在 app code。Graph 適合互動 authoring,不是取代架構設計。

風險與測試清單

第一,Animation Graph 與 Behavior Tree 的 inputs 要有清楚命名與預設值,否則場景一複雜就難追。第二,Navigation Mesh 的 sampling 與 off-mesh connection 要在真實裝置上測,尤其是角色大小、碰撞、階梯、橋與不可行走區域。第三,Compute Graph 粒子效果雖然是 GPU-driven,仍要檢查 visionOS 裝置上的熱量、幀率與 fallback。

如果團隊要把這套流程放進 production,建議先建立「editor graph 可做什麼、Swift code 負責什麼」的分工規則,並把 graph asset 納入 code review 或 content review,避免互動邏輯變成不可追的黑盒。

Source chapters
00:00Introduction:用 Sharper Village 的 alchemy scene 串起整個 demo。
02:10Animation Graph:state machine、transition conditions、runtime parameters。
06:21Behavior Tree:sequence、action nodes、routine 與 preconditions。
11:22Script Graph:tap gesture 觸發互動狀態。
14:46Navigation Mesh:walkable surfaces、obstacle avoidance、off-mesh connection。
17:08Compute Graph:GPU-driven particle simulation。
19:43Shader Graph enhancements:hair/fur、portal surface 與 geometry modifier。
// TL;DR