← AICON 2026 圖文報告/Day 2 · 8/22 · 14:00–14:40 · 宴會廳 A

阿寶背後的 Agentic 終端引擎

🕒 44:362026/8/22 14:0011,082 字13 張照片

TL;DR:螞蟻集團/支付寶 AI 端雲交互負責人魏鳳笛(花名鳳翎)分享的核心,不是替聊天介面加上 AI,而是將支付寶龐大的服務供給轉化為可被 Agent 理解、調度與執行的能力。阿寶定位為支付寶的 AI Agent 入口:前端以持續、全雙工、多模態互動承接使用者意圖;後端則以 A2UI、MCP/API、端上 GUI/TUI 與腳本執行等分層方案,讓 Agent 能真正「辦事」。更長期的目標,是讓服務跨出單一 App,與系統助手及多種終端協同,從「人找服務」走向「服務找人」。

阿寶Agentic全雙工多模態MoQ/Media over QUICA2UI端雲協同GUI AgentTUI意圖分發跨平台協同

阿寶的產品定位:把支付寶能力變成 AI 入口

阿寶被定位為支付寶面向 AI 的入口,而非單純的聊天機器人。使用者可由支付寶入口進入,透過對話提出需求;其背後的產品命題,是把支付寶內既有的服務、小程式與開放服務供給,整理為 Agent 可調用的服務能力。換言之,對話只是入口,真正要完成的是「理解意圖—選擇服務—執行任務—取得確認」的服務閉環。

3:33分享開場揭示阿寶的主題:以終端交互引擎承接支付寶服務的 Agent 化轉型。
「我們想把阿寶打造成一個 agent 的一個 AI 入口。」
— 魏鳳笛

這個定位建立在三個組合上:Agent 的推理與循環能力、支付寶海量的業務服務供給,以及面向多端的開放生態。相較於只回答問題的聊天產品,阿寶要處理的是服務世界裡的具體任務;相較於只服務單一場景的垂直 Agent,它又必須面對服務類型多、入口分散、供給方不一的現實。

7:36從聊天問答、陪伴互動走向可完成任務的 Agent,是行動端 AI 應用演進的主軸。

互動演進:從一次請求到持續的多模態對話

傳統 App 請求多是「送出一次、回傳一次」:使用者操作後等待結果,系統再回應。Agent 對話則更像一通可以隨時插話的電話——使用者能持續補充條件、改變主意或中途打斷,Agent 也需要在過程中回傳推理、工具調用、展示內容與確認請求。因此,終端通訊必須從單次往返升級為持續串流。

10:46阿寶將人與 Agent 的關係定義為持續通訊,而非傳統 App 的單次請求與回傳。

當互動再加入語音、影像、螢幕或鏡頭資訊,以及即時語音回饋時,需求便進一步升級為全雙工、多模態的串流系統。這不只是傳輸更多資料,而是要讓不同模態能同步被理解、被控制,並支援打斷與切換,才能讓 Agent 依當下情境協助使用者完成任務。

11:19多模態互動除了文字與語音,也涵蓋影像、鏡頭等即時情境輸入,讓 Agent 能感知任務脈絡。

串流通訊全雙工多模態即時打斷語音互動

傳輸底座:以 MoQ 解耦多模態互動

魏鳳笛指出,RTC 原本更偏向人對人的即時互動;當 Agent 互動要承載更多模態與控制需求時,擴展與整合會變得複雜。阿寶因此以 MoQ 為通訊協議主軸,並搭配 RTC 與其他傳輸方式。MoQ(Media over QUIC)是 IETF 正在開發的流媒體傳輸協議,目標是回應大規模、超低延遲的即時媒體傳輸需求;在此脈絡中,它的價值是將不同模態解耦,並提供更適合人與 Agent 互動的傳輸基礎。

13:41MoQ 被用作阿寶多模態互動的協議基礎,對應低延遲、可擴展與打斷控制等需求。

整體設計採取多層備援:以 MoQ 為主、RTC 為備援、gRPC 兜底,並在終端建置阿寶抽象層,將媒體資訊與 Agent 傳輸解耦。這類架構像是為不同類型的貨物安排專屬車道,同時保留替代路線;目的不是追求單一協議,而是在建連、首屏與整體互動穩定性之間取得平衡。

UI 演進:從 Markdown 輸出走向可完成服務的 A2UI

Agent 能力升級後,互動介面也不能停留在「輸出一大段文字」。分享將對話 UI 的演進分為三層:先以流式 Markdown 呈現 AI 回答;再引入可嵌入 H5 區塊的流式頁面,以表達圖表與較複雜的內容;最後進入生成式 UI,讓 Agent 與使用者能在對話中共同完成服務流程。

17:18從原生 Markdown 到輕量化 Web 容器,阿寶逐步補足複雜內容的表達與渲染需求。

第一層選擇原生 Markdown 渲染,是為了避免只為顯示 Markdown 而嵌入瀏覽器,並在多端維持較好的原生性能。面對圖表、互動卡片等更複雜的內容時,則透過輕量化的瀏覽器能力,在原生對話中嵌入 H5 區塊,同時處理性能、體積與穩定性問題。

18:31A2UI 將模型的任務意圖轉成可組合的介面與操作流程,讓對話不只會回答,也能帶著使用者辦事。

第三層的關鍵是 A2UI。此方案不讓模型直接生成頁面本身,而是讓模型描述「要做什麼」,再由端上依協議與工程規範組合元件、操作與流程。這相當於把「決定要點什麼菜」與「廚房如何出餐」拆開:模型負責理解意圖與規劃,UI 層負責可靠地呈現及交互,使用者則能在關鍵節點查看與確認。

「不希望模型去生成頁面本身,而是希望模型去生成他要做什麼事情。」
— 魏鳳笛
19:45生成式 UI 結合 A2UI、MCP 與服務供給,形成使用者在對話中完成任務的交互閉環。

端上執行方案:API 之外,還要補上服務覆蓋

若服務方已提供 MCP 介面、Skill 或 API,Agent 可以直接調用,例如出行、買咖啡、點餐等場景。然而支付寶內有大量小程式與服務,不是每一個都能立即提供標準化接口。要讓 Agent 的服務覆蓋不受限於 API 供給,阿寶還需要一套能在終端內操作既有服務的執行方案。

23:01面對未提供標準 MCP 或 API 的服務,阿寶必須以終端執行能力補足服務調用的覆蓋缺口。
26:04GUI Agent 以端內基礎技術棧接住模型的操作意圖,將畫面理解與點擊動作轉為可執行流程。

這三類執行方式不是互斥關係,而是依場景特性分工:固定動線可優先以腳本快速完成;出行、點單等可取得結構化資料的服務,適合以 TUI 類方式處理;面對高度變動或視覺脈絡複雜的頁面,則需要 GUI Agent。核心原則是以不同的可靠度、速度與泛化性,擴展 Agent 的實際辦事能力。

端雲協同的底線:可靠執行與授權控制

讓 Agent 代操作,難點不只是「能不能點」,而是「能不能可靠地點對」。分享明確指出,任務執行不能停在七、八成成功率,而需要超過九成的可靠程度,才適合協助使用者完成實際服務。這也使端雲協同成為必要條件:雲端提供理解與規劃,端上掌握頁面、狀態與操作時機,兩者共同維持任務正確性。

30:17端雲協同執行時,系統需檢查頁面狀態與操作目標,降低使用者介面變動導致的錯誤。
31:54終端執行能力不只關乎自動化,也要求針對海量小程式與服務頁面建立可理解、可訓練的結構化描述。

跨平台服務協同:當意圖發生在別人家

使用者想完成一件事時,意圖未必發生在支付寶內。它可能先出現在手機系統助手,或其他廠商的 Agent 中;因此,阿寶的關鍵課題是如何將外部意圖引入支付寶,同時把自身服務能力安全地提供出去。這可視為服務業的「跨平台轉接」:入口方先理解使用者想做什麼,再將意圖分發給真正能履約的服務主體。

分享提出的分工是:系統助手負責理解意圖與發起服務分發,支付寶在自身服務領域內承接並執行任務。這避免由手機廠商直接操作支付寶,或支付寶跨越系統邊界進行非必要操作,從而降低邊界與合規問題。以購買電影票為例,外部助手可將意圖交給支付寶處理,使用者不必全程停留在支付寶畫面等待。

37:18跨 Agent 協同以意圖分發串接系統助手與支付寶服務:入口理解需求,服務方在自身領域完成履約。

與終端廠商合作還帶來兩項實際增益:第一,系統能力可支援任務在背景完成,完成後再通知使用者;第二,作業系統可提供更完整的畫面感知與操作能力,相比 App 自行突破 UI 限制,具備更高的控制力與較低錯誤率。這使跨平台協同不只是導流,而是任務閉環能力的延伸。

未來終端展望:異步任務、伴隨式服務與多設備復用

阿寶的下一步,不只是在對話頁回答更多問題,而是擴展到更完整的任務系統。首先是異步化:現階段部分任務受限於前台運行與交互方式,未來可探索讓知識查詢,乃至某些服務任務,以端雲協同方式在背景持續執行,並以更穩定的履約機制回報結果。

第二是伴隨式互動。理想狀態下,使用者不必每次都先進入對話入口;在使用支付寶任一服務的過程中,都能與阿寶對話,讓它理解當下畫面與情境,提供即時協助。第三則是多終端復用:除了手機與支付寶 App,手錶、眼鏡及各類支付設備也可能成為服務觸點,阿寶的服務供給需要能跨設備、跨場景延展。

異步任務任務管理伴隨式 Agent多設備上下文雲端沙箱服務履約

「從人找服務到服務找人。」
— 魏鳳笛

重點回顧

由爪爪聽寫圖文報告生成AI 生成