← 全部筆記
Series 多模態 AI 核心原理 8 / 10
2026.10.12

多模態 Agent：AI 如何從理解資訊進一步採取行動？

從感知層、解釋層、規劃層到執行層，理解多模態 Agent 如何看螢幕、操作介面，以及跨平台行動的設計取捨與安全挑戰。

MultimodalAgentGUI AgentVisual GroundingTool UseMulti-AgentSafety

多模態 Agent：AI 如何從理解資訊進一步採取行動？

上一篇我們介紹了多模態 RAG：當模型需要的資訊不在目前上下文中時，如何透過檢索取得相關證據。
但取得資訊與採取行動是兩個不同的問題。當你要求 Agent 填寫表單、操作網站或整理截圖中的數據時，它不只需要取得與理解資訊，還必須規劃操作、執行動作，並根據執行結果調整下一步。
這一篇，我們要回答一個架構問題：AI 如何從理解資訊，進一步採取行動？

Observe → Understand → Reason → Plan → Act → Observe

一、Requirement：多模態 Agent 需要什麼？

一個能操作電腦、手機、甚至機器人的 Agent，需要同時具備三種能力：

  1. 視覺感知：看懂螢幕上有什麼。按鈕在哪裡？輸入框在哪裡？當前頁面顯示的是什麼？
  2. 推理與規劃：根據任務目標，決定下一步要做什麼。要點擊哪個按鈕？要輸入什麼內容？如果這一步失敗了，下一步該怎麼調整？
  3. 行動執行：真正操作介面。移動滑鼠、點擊、輸入文字、滾動頁面、切換視窗。

以文字或結構化介面資訊為主要觀察來源的 Agent，通常讀取 HTML 的 accessibility tree，或者依賴 OCR 提取的文字。但這種方式有兩個根本問題：

  • 第一，文字描述可能丟失空間資訊。 一個按鈕在螢幕的左上角還是右下角，文字描述不一定能準確傳達。但空間位置對於「點擊按鈕」這個動作至關重要。
  • 第二，文字描述可能不完整。 很多視覺元素（圖表、驗證碼、圖片按鈕）沒有對應的文字描述。依賴文字，等於忽略了這些元素。

一篇 2026 年的綜述指出，現有的 GUI Agent 在有效關聯任務實現與特定視覺元素方面面臨重大挑戰，而視覺-語言模型的分辨率限制也限制了視覺資訊的豐富度。Multimodal Agent Survey

多模態 Agent 的需求可以拆解成三個層次：

  1. 第一層：視覺落地（Visual Grounding）。 Agent 需要把「點擊登入按鈕」這個指令，對應到螢幕上特定位置的像素區域。
  2. 第二層：多步規劃。 真實任務很少是一步完成的。訂一張票需要導航到網站、搜尋航班、選擇日期、填寫乘客資訊、確認支付。每一步的輸入是上一步的輸出。
  3. 第三層：異常處理。 當頁面加載失敗、按鈕位置變了、彈出對話框時，Agent 需要檢測異常並調整策略。

二、Constraints：多模態 Agent 的根本挑戰

挑戰一：視覺理解的精度不足

通用 MLLM 在理解複雜 GUI 時表現不穩定。Windows 環境中的 GUI 元素密集、層級複雜，MLLM 經常誤判按鈕的位置或忽略重要的視覺線索。

MT-Agent 的研究發現，VLMs 的分辨率限制會制約視覺資訊的豐富度，導致模型無法準確感知 GUI 中的視覺元素。MT-Agent

挑戰二：長時程任務中的視覺上下文退化

當任務需要多步操作時，Agent 需要記住之前看到的內容。但視覺 token 佔用大量上下文，隨著步驟增加，早期的視覺資訊會被擠壓甚至丟失。ToolScope 的研究將這個問題識別為長時程 VQA 任務中的視覺上下文退化。ToolScope

挑戰三：跨應用與跨平台的異構性

Windows 環境中的任務經常涉及跨應用操作——從瀏覽器複製內容到 Excel，從郵件附件保存文件到本地資料夾。每個應用有不同的介面邏輯和操作方式。

不同平台的行動空間也不同。網頁用 CSS 選擇器，桌面用座標，手機用觸控手勢。Aguvis 的研究指出，依賴平台特定的行動空間是 GUI Agent 的核心挑戰之一。Aguvis

挑戰四：安全性

多模態 Agent 直接操作真實介面。一個錯誤的點擊可能刪除文件、發送郵件、完成支付。

2024 年提出、並於 2025 年發表於 ACL 的一項研究，測試了惡意彈窗對視覺語言電腦操作 Agent 的影響。將彈窗整合到 OSWorld 與 VisualWebArena 等測試環境後，攻擊成功率平均達 86%（指 Agent 點擊彈窗的頻率），任務成功率下降 47%。Pop-up Attack 這是特定攻擊設計與測試設定下的結果，不代表所有 Agent 在一般使用情境中的失敗率。

三、Design：多模態 Agent 的架構

一種便於理解的四層架構

為了方便討論，本文採用一種概念性的四層架構：感知層、解釋層、規劃層、執行層，並另外討論跨層的記憶支援模組。

層次職責關鍵技術
感知層接收視覺/文字輸入截圖、Accessibility Tree、OCR
解釋層理解當前狀態MLLM 推理、視覺落地
規劃層決定下一步行動任務分解、多步推理
執行層操作介面滑鼠點擊、鍵盤輸入、API 調用

這個四層架構與人類操作電腦的認知過程高度對應：先看（感知），再理解（解釋），再決定（規劃），最後動手（執行）。不同系統的模組切分不一定相同；有些架構會把記憶獨立成層，有些會把解釋與規劃整合。記憶是可跨越多個層次的支援模組，因此以下將它獨立討論，而不將它視為所有 Agent 都必須採用的第五層。

four_layer_agent_architecture

感知層：如何看懂螢幕？

GUI Agent 的感知層有三種主流方案：

  • 純視覺方案：直接處理螢幕截圖，不依賴任何底層代碼。Aguvis 是這種方案的代表，它直接操作螢幕圖像，標準化跨平台交互。Aguvis
  • 混合方案：結合截圖和 accessibility tree。VisualWebArena 提供多種觀察表示，包括網頁截圖、accessibility tree，以及帶有互動元素標記的視覺表示；實際使用哪一種取決於設定。VisualWebArena
  • 輕量級視覺增強方案：Win-Agent 設計了 Multi-Dimensional Perception Module (MDPM)，通過小模型與大模型的協作來增強視覺感知，不依賴 accessibility tree。Win-Agent

純視覺方案有機會降低平台特定解析邏輯的依賴，但操作介面仍有平台差異，統一動作格式不等於完全跨平台。混合方案在可取得且正確的結構化資訊下，有助於精確定位；但 accessibility tree 也可能缺漏或過時。輕量級方案的優勢是效率——不需要解析龐大的 HTML 結構。

agent_perception_strategies

規劃層：如何決定下一步？

多模態 Agent 的規劃層需要處理幾個獨特的挑戰：

  • 視覺上下文管理：隨著步驟增加，早期的截圖會佔用大量 token。ToolScope 在長時程 VQA 任務中引入了 Perceive 工具與 Global Navigator、Agentic Executor 等組件來管理視覺上下文。ToolScope 類似的局部感知與分層規劃思路，在設計上也可能對 GUI Agent 的長任務有所啟發，但這並非 ToolScope 原始論文的直接實證範圍。
  • 多 Agent 協作：Win-Agent 引入了一個 planning-execution-reflection 的多 Agent 框架來處理複雜的 Windows 任務和子任務之間的依賴。Win-Agent
  • 分層推理：SlideAgent 將推理分解為 global、page、element 三個層次，用專門的 Agent 處理多頁視覺文件的不同粒度理解。SlideAgent

記憶支援模組：如何記住看過的東西？

長時程任務需要 Agent 記住之前看到的內容。M3-Agent 提出了一個以實體為中心的多模態長期記憶架構，可以處理實時視覺和聽覺輸入，構建和更新情景記憶與語義記憶。M3-Agent

在該研究的實驗設定下，通過強化學習訓練的 M3-Agent 比最強的基線（使用 Gemini-1.5-pro 和 GPT-4o 的 prompting Agent）在 M3-Bench-robot 上準確率高出 6.7%，在 M3-Bench-web 上高出 7.7%，在 VideoMME-long 上高出 5.3%。M3-Agent 這組數字代表特定基準、特定基線與實驗設定下的結果，不宜推廣為長期記憶對所有 Agent 的普遍增益。

行動層：如何操作介面？

行動層的設計需要解決三個問題：

  • 跨平台標準化：Aguvis 提出了一個統一的行動空間，將不同平台的操作（點擊、輸入、滾動）標準化為統一的表示。Aguvis
  • Agent-Computer Interface (ACI)：Agent S 引入了 ACI 的概念，專門設計來更好地引出 MLLM 的推理和控制能力。Agent S
  • 工具使用：除了直接操作介面，Agent 還可以調用 API、執行腳本、查詢資料庫。ART 將 VLA 模型與代理式工具使用整合，讓 Agent 能夠利用現成的工具來完成物理操作任務；其定位主要是機器人操作中的 VLA 模型與工具模組，而非一般桌面 GUI Agent 的代表案例。ART

四、Trade-offs：多模態 Agent 的取捨

純視覺 vs 混合感知

面向純視覺混合感知
跨平台一致性有機會降低平台特定解析邏輯的依賴需為各平台適配解析邏輯
視覺元素精度依賴 MLLM在可取得且正確的結構化資訊下，有助於精確定位
上下文開銷較大（截圖）中等
對動態內容的適應可直接觀察畫面變化，但仍需處理時序與狀態更新結構化資訊可能滯後
實現複雜度可減少對 DOM 或平台 API 的依賴，但視覺定位與動作驗證仍有成本較高

純視覺方案更通用，但精度依賴 MLLM 的能力。混合方案在結構化資訊可靠時精度更高，但需要為每個平台適配解析邏輯，且 accessibility tree 不保證包含所有視覺元素或足夠精確的螢幕座標。

單 Agent vs 多 Agent

面向單 Agent多 Agent
實現複雜度低高
任務分解能力有限強
上下文管理困難可分工
協作開銷無高
適合任務簡單、短時程複雜、長時程

Win-Agent 的多 Agent 框架在 Windows-Eval 基準上報告了相較先前方法的任務成功率提升。Win-Agent 這是特定方法與基準的實驗結果。對於具有明確子任務依賴、且需要反覆檢查結果的長時程任務，可以評估將規劃、執行與反思拆成不同角色；這種分工可能改善任務管理，但也會增加模型呼叫、狀態同步與協調成本，是否優於單 Agent 仍應透過相同任務與預算進行比較。

實時 vs 離線

實時：Agent 在用戶面前操作，每一步都需要等待。延遲直接影響用戶體驗。

離線：Agent 在後台執行任務，用戶只需要等待最終結果。延遲容忍度更高。

一篇 2026 年的 ACM 綜述討論了多模態 Agent 互動設計的相關議題。A2A Survey 但具體的部署策略仍應依應用場景與資源條件評估。

五、Decision：多模態 Agent 的實務建議

建議一：從混合感知開始

純視覺方案雖然優雅，但精度與穩定性仍有挑戰。建議從「截圖 + accessibility tree」的混合方案開始，在 MLLM 能力足夠強、且視覺定位與動作驗證機制成熟之後，再逐步過渡到純視覺。VisualWebArena Aguvis

建議二：用多 Agent 處理適合的長時程任務

對於跨應用、長時程的任務，單 Agent 的上下文管理能力有限。用「規劃 Agent + 執行 Agent + 反思 Agent」的分工，在具有明確子任務依賴的場景中可能改善任務管理，但需一併評估模型呼叫成本、狀態同步開銷與協調複雜性。Win-Agent

建議三：依瓶頸選擇視覺上下文管理策略

不要假設 MLLM 能記住所有看過的截圖。可以依輸入形式與瓶頸選擇不同策略：Token Pruning 移除部分視覺 token 以降低序列長度；關鍵幀提取減少影片中需要處理的影格數量；分層摘要將較長的歷史觀察整理成較精簡的表示。這些方法可能損失細節、時間順序或局部資訊，並非可以不加區分地套用在所有 GUI Agent 上的通用解法。ToolScope

建議四：安全機制不可省略

在該研究所測試的 Agent 與環境中，惡意彈窗攻擊的平均成功率為 86%，並使任務成功率下降 47%。Pop-up Attack 高風險操作（刪除、支付、發送）必須搭配多層防護：

  1. 動作前驗證：確認目標、操作內容與預期副作用。
  2. 權限最小化：Agent 只取得完成任務所需的權限。
  3. 高風險操作確認：刪除、付款、寄信等動作在執行前要求使用者核准。
  4. 動作後驗證：重新觀察介面，確認操作是否成功、是否出現意外狀態。
  5. 不可信畫面隔離：把網頁、圖片或彈窗中的指令視為待分析的資料，而不是自動具有權限的指令。
  6. 操作授權與畫面指令分離：網頁、圖片、文件與彈窗中的文字都應視為不可信的輸入資料。Agent 必須依據使用者原始任務、工具權限與風險政策決定是否執行動作，而不能僅因畫面要求操作就自動執行。

agent_safety_guardrails

建議五：建立專門的評估基準

Windows-Eval 包含了 150 個來自真實場景的複雜用戶請求。Win-Agent VisualWebArena 在 WebArena 基礎上增加了視覺落地任務。VisualWebArena OSWorld 提供可執行的真實電腦操作環境，支援 Ubuntu、Windows 與 macOS，並涵蓋 369 個跨應用程式及多步驟任務，可用來評估 Agent 在真實桌面環境中的操作能力。OSWorld 這些基準是重要的評估工具，但並非判斷 Agent 是否可部署的唯一條件；還需要真實使用者測試、安全性、穩定性與失敗復原能力的驗證。

六、小結

多模態 Agent 的核心問題是：AI 如何從理解資訊，進一步採取行動？

它的架構可以拆解成四層，外加一個跨層的記憶支援模組：

  1. 感知層：用截圖、accessibility tree 或混合方案看懂螢幕。純視覺方案（Aguvis）有機會降低平台特定解析邏輯的依賴 Aguvis；混合方案在結構化資訊可靠時有助於精確定位 VisualWebArena。
  2. 解釋層：用 MLLM 理解當前狀態，把指令落地到具體的視覺元素上。
  3. 規劃層：用多 Agent 框架或分層推理決定下一步行動。Win-Agent ToolScope SlideAgent
  4. 執行層：標準化跨平台行動，調用工具或直接操作介面。Agent S ART
  5. 記憶支援模組：以實體為中心的多模態長期記憶，支援長時程任務。M3-Agent

多模態 Agent 解決了「理解之後做什麼」的問題。但它真的理解了 嗎？

下一篇，我們會進入一個批判性的問題：模型真的理解了，還是在猜？ 我們會拆解「理解」的不同層次——感知、落地、推理、幻覺、時序理解、組合理解——然後才介紹 VQA、MME、MMMU 等評估基準。

下一篇預告

《多模態評估：模型真的理解了，還是在猜？》

我們會拆解「理解」的不同層次：Perception（能不能正確辨識）、Grounding（能不能指出資訊在哪）、Reasoning（能不能根據視覺資訊推理）、Hallucination（是不是產生了圖片中不存在的資訊）、Temporal Understanding（影片中的時間與事件是否理解）、Compositional Understanding（能不能理解多個物件之間的關係）。然後才介紹 VQA、MME、MMMU、MathVista、MMBench、Video Benchmarks、Hallucination Benchmarks。

參考文獻

◆ END
← 回到筆記列表