← 全部筆記
Series 多模態 AI 核心原理 10 / 10
2026.10.12

從多模態到具身智能：AI 如何從理解世界走向與世界互動？

多模態 AI 系列最終篇：從影片理解、即時多模態、空間智能、世界模型到 VLA 與具身智能，理解 AI 如何從理解世界走向與世界互動。

MultimodalEmbodied AIVLAWorld ModelSpatial IntelligenceVideo UnderstandingRobotics

從多模態到具身智能：AI 如何從理解世界走向與世界互動？

這是多模態 AI 系列的最後一篇。
前九篇文章，我們走完了一條完整的鏈路：從像素到視覺 token、從跨模態對齊到多模態訓練、從推理優化到 RAG 到 Agent，最後到評估。
我們知道了模型怎麼「看」、怎麼「對齊」、怎麼「訓練」、怎麼「推理」、怎麼「檢索」、怎麼「行動」、怎麼被評估。
但所有這些，都停留在理解的層面。
模型理解了圖片，理解了文字，理解了影片，甚至理解了螢幕上的按鈕在哪裡。
但它還沒有觸摸過這個世界。
它不知道杯子有多重，不知道門把手是滑的還是澀的，不知道把一杯水從桌上推到地上，水會濺多遠。
這一篇，我們要回答最後一個問題：AI 如何從理解世界，走向與世界互動？
2026 年，多模態理解、世界模型與機器人控制的進展，讓這個問題有了更多具體的研究案例。

Vision → Representation → Alignment → Training → Reasoning → Retrieval → Agent → Embodied AI

一、從理解到互動：還差什麼？

多模態模型已經能理解圖片和文字。
多模態 Agent 已經能操作螢幕上的介面。
但螢幕之外的世界，是完全不同的挑戰。

一篇 2026 年的綜述提出了具身 AI 的五個核心模組：感知與理解、推理與決策、控制與行動、建模與學習（如 VLA 和世界模型）、數據與模擬。這五個模組構成了從「理解」到「互動」的完整技術框架。VLA Survey Wiley

但還有一個更深層的差距：身體。

具身 AI 的一個重要觀點是：智能可以從與物理環境的持續互動中湧現。透過將感知、認知和行動耦合在一個閉環反饋中，具身 AI 使 Agent 不僅能擁有身體，更能透過身體理解世界。Cobodied AI Survey

這種從「離身智能」到「具身智能」的轉變，是 AI 發展中重要的範式遷移之一。離身智能系統在開放、動態的真實環境中可能難以適應，因為它們無法透過物理交互來學習和調整策略。

這一篇，我們要從三個層次來回答「如何從理解走向互動」：影片理解、即時多模態、具身智能。而 2026 年的進展，恰好沿著這三個層次同時展開。

二、影片理解：時間維度的加入

靜態圖片是瞬間的快照。影片是時間的流動。

當模型處理影片時，它需要理解時間維度——什麼先發生，什麼後發生。這需要時間推理（Temporal Reasoning） 能力。需要注意的是，辨識事件的時間順序與推斷事件之間的因果關係是兩種不同的能力；前者是後者的基礎，但不等同於後者。

Kangaroo 是一個專門針對長影片理解設計的 Video LMM。它面對的核心挑戰是：大規模高質量影片數據的不足，以及視覺特徵的過度壓縮。為了解決這個問題，研究團隊構建了一個數據策展系統來生成大規模高質量標註數據，並設計了一個漸進式訓練管線，逐漸增加輸入分辨率和幀數。Kangaroo

在該論文當時的實驗設定下，Kangaroo 用 8B 參數在多個影片理解基準上取得了具有競爭力的性能，在長影片基準上甚至超過了某些超過 10B 參數的更大模型和專有模型。Kangaroo

但影片理解不只是「看完一整部影片」。在真實場景中，影片是持續流動的。安防監控不會「上傳完整影片再分析」，它是實時發生的。

StreamWatch 是一個用於監控異常檢測的流式影片理解框架。它將影片描述和異常推理解耦為兩個獨立的服務：一個輕量級的視覺語言模型持續生成時間對齊的場景描述，另一個推理模組使用帶時間戳的描述、可配置的時間上下文和領域特定的決策規則來檢測異常，並生成結構化的 5W1H（When、What、Who、Where、Why、How）解釋。StreamWatch

在單影片流上使用兩塊 NVIDIA A800 GPU，所有測試配置都能在 3.29 到 3.91 秒內完成每個片段的處理。在 UCF-Crime 上達到 80.4% 的 F1，在 XD-Violence 上達到 90.7% 的 F1。StreamWatch

在影片問答優化方面，VQA-MEDO 提出了一個多目標優化框架，結合大語言模型集成來提升影片問答的性能。它通過多目標優化來平衡不同的評估維度，並在該研究使用的資料集與實驗設定下取得了改進。VQA-MEDO

這意味著：影片理解正在從「事後分析」走向「實時在場」。

三、實時多模態：從「一問一答」到「邊看邊說」

近年來，即時多模態模型逐步改變了人機互動方式。以 GPT-4o 為例，它在 2024 年展示了端到端處理文字、視覺與音訊的能力，並將音訊回應延遲降低至平均 320 毫秒，最快可達 232 毫秒，接近人類自然對話的 210 到 320 毫秒範圍。GPT-4o System Card 相比之下，舊版語音系統的整體流程延遲（包含轉錄、模型推理與語音合成）平均為 2.8 秒（GPT-3.5）和 5.4 秒（GPT-4）。GPT-4o System Card

到了 2026 年，這個方向不再只是「延遲更低」，而是進一步延伸到持續影片觀察、主動事件判斷，以及能與物理世界互動的具身系統。

從「在場」到「主動判斷」

京東開源的 JoyAI-VL-Interaction 是 2026 年這個方向上最具體的一步。它讓大模型從「一問一答」走向「邊看邊說」。JoyAI-VL-Interaction

它的核心突破在於主動判斷：傳統模型要等用戶發起問題，才開始處理當前畫面，而 JoyAI-VL-Interaction 可以持續觀察影片流，每一秒自主決定「繼續沉默、主動回應，還是交給後台模型處理」。用戶設置「裁判出示紅牌時提醒我」，模型就會持續值守畫面，並在事件發生時自動預警。JoyAI-VL-Interaction 在這個意義上，「沉默」不再只是沒有輸出，而是模型學會的一種動作。

這意味著：AI 不再只是一個回答問題的工具，而是一個持續在場的觀察者。 它不只在被動地等待查詢，而是在主動地理解正在發生的事。

跨模態協同

當模型能同時處理文字、音頻和視覺時，它能做到單模態模型做不到的事。

GPT-4o 可以利用視覺與語音線索調整回應方式，例如根據用戶的面部表情或語氣調整回應的節奏與語調。GPT-4o System Card Gemini 3.1 Flash Live 則著重於更自然、低延遲的即時語音互動，並改善對語調、語速等聲學細節的辨識，以及在嘈雜環境中的語音處理能力。Gemini 3.1 Flash Live

這種跨模態協同的能力，是實時多模態 AI 的核心價值。它不是「把不同模態的模型拼在一起」，而是用一個統一的模型理解多種模態之間的深層關聯。

四、空間智能：從 2D 理解到 3D 感知

影片理解加入了時間維度。空間智能加入了空間維度。

部分視覺語言模型在精確的 3D 空間推理上仍有不足，原因之一在於它們缺乏從 2D 圖像重建 3D 空間的幾何學習過程。G²VLM

3D 重建與空間推理的統一

G²VLM 是一個幾何接地的視覺語言模型，它橋接了空間智能的兩個基本方面：3D 重建和空間理解。它原生地利用學習到的 3D 視覺幾何特徵來直接預測 3D 屬性，並通過上下文學習和交錯推理增強空間推理任務。G²VLM

在 CVPR 2026 上，G²VLM 展示了它在兩個任務上的能力：既達到了與當時先進的前饋 3D 重建模型相當的結果，又在空間理解和推理任務上取得了更好或具有競爭力的表現。G²VLM

主動空間感知

但被動地接收 3D 信息還不夠。

2026 年 5 月發表於 ICML 的 GeoThinker 提出了一個關鍵轉變：從被動融合到主動感知。大多數現有的空間推理方法將幾何信息作為全局流暴露，以不加區分的方式融合，這往往導致語義-幾何不對齊和冗餘信號。GeoThinker 讓模型能夠根據自己的內部推理需求，選擇性地檢索幾何證據。在 VSI-Bench 上，GeoThinker 達到了 72.6 的峰值分數，並在具身指代和自動駕駛等複雜下游場景中展示了穩健的泛化能力。GeoThinker

零樣本空間推理

pySpatial 進一步推進了這個方向。它是一個視覺編程框架，讓 MLLM 能夠通過 Python 代碼生成來調用空間工具——3D 重建、相機姿態恢復、新視角渲染等。這些操作將原始的 2D 輸入轉換為可探索的 3D 場景，使 MLLM 能夠對結構化的空間表示進行顯式推理。值得注意的是，pySpatial 不需要任何基於梯度的微調，完全在零樣本設置下運行。在 MindCube 基準上，它比 GPT-4.1-mini 高出 12.94 個百分點（依原論文定義）。pySpatial 在真實室內導航實驗中，機器人能夠使用 pySpatial 生成的路由計劃成功穿越複雜環境。pySpatial

五、世界模型：讓 AI 在「腦海」中模擬未來

空間智能讓 AI 理解了「在哪裡」。世界模型讓 AI 理解了「接下來可能發生什麼」。

2026 年，世界模型從一個研究概念迅速變成多條技術路線並行的賽道：LeCun 團隊的 H-JEPA 走向分層表徵，千訣科技的 Polibrain 主張在潛空間預測任務相關的狀態變化而非生成畫面，Ropedia W0 試圖用跨具身數據統一運動與操作，智元的 GE-Act 2.0 則把「預測未來」與「生成動作」放進同一個模型。

world-model-planning

什麼是世界模型？

世界模型是 AI 的「內部模擬器」，讓它能像人一樣在「腦海」中推演可能的未來狀態、規劃行動。

它的核心任務是：接收當前場景和計劃執行的動作序列，預測接下來環境、物體和機械臂之間可能發生的連鎖變化。預測結果會受到模型誤差與環境不確定性的影響，並非精準無誤。

從被動執行到主動預判

部分以預設動作流程為主的機器人系統，核心問題是「所見即所行」——只能依託實時視覺感知完成預設動作，缺乏對物理世界的理解與預判能力。一旦遇到空抓、物體滑落、軌跡偏移等非理想場景，這類系統極易出現操作失誤。

世界模型要解決的核心問題之一是 「動作幻覺」——模型脫離機器人實際動作指令與物理邏輯，憑藉訓練數據的常見模式「腦補」理想化結果，出現「空抓卻顯示抓取成功」等預測或生成結果與物理狀態不一致的虛假畫面。這種視覺逼真但邏輯失真的問題，可能導致機器人低估操作風險。需要注意的是，「動作幻覺」並非所有研究都採用的標準術語，且視覺生成失真與實際控制失敗之間仍有距離；如果沒有真實機器人執行與回饋，不能直接推論機器人已經做出了不安全的實際動作。

中國科學院自動化研究所團隊研發的 NeoVerse-ABot 模型在 ICRA 2026 的世界模型賽道中獲得冠軍。NeoVerse-ABot 官方研究報導指出，該模型在圖像品質與動作跟隨兩項核心指標上均排名第一。NeoVerse-ABot

分層世界模型

楊立昆團隊的 H-JEPA 提出了一個分層世界模型架構，2026 年 10 月以論文形式公開並開源了代碼與權重。H-JEPA 它讓 AI 在不同時間尺度上分別學習環境表徵：高層先朝最終目標規劃，提出中間子目標，再交由下一層逐步細化，直到最底層產生實際動作。H-JEPA

在四足機器人走迷宮的測試中，單層模型的成功率只有 18%，而三層 H-JEPA 達到了 73%——約 4 倍的提升，同時使用更少的規劃運算量。H-JEPA

這個結果的意義在於：世界模型不是要預測每一個像素，而是要學習「什麼重要」。高層表徵保留了機器人的位置信息，但捨棄了腿部姿勢等快速變動的細節。這種分層抽象讓長期規劃不再被低階細節壓垮。H-JEPA

2026 年的其他世界模型路線

除了 H-JEPA，2026 年還有幾條值得注意的路線。千訣科技在首屆 2026 物理 AI 與世界模型大會上發布了預測式世界模型 Polibrain，它不追求生成未來每一幀畫面，而是在任務相關的潛空間中預測狀態變化，並已在四足、人形、輪式、雙臂等形態上開展適配。Polibrain Ropedia W0 則試圖用統一的運動學表徵，把 10,000 小時人類自我中心數據和 3,000 小時機器人數據對齊，實現跨具身的移動操作世界模型，在五個跨具身基準上取得 SOTA，並支持蒸餾後長達數分鐘的實時交互式展開。Ropedia W0 智元的 GE-Act 2.0 將「預測未來」與「生成動作」整合進同一個模型，在陌生場景中把 G1-OP 的總體成功率從 17.1% 提升到 44.1%，並在 RoboTwin 陌生環境測試中取得 60.52% 的成功率。GE-Act 2.0

這些路線的共同點是：世界模型不再只是「生成看起來合理的未來畫面」，而是開始服務於規劃與行動。

六、具身智能：VLA 模型與機器人大腦

影片理解加入了時間。空間智能加入了 3D。世界模型加入了預測。
但所有這些，最終都要匯聚到一個能在物理世界中行動的實體上。

vla-embodied-ai-loop

什麼是 VLA 模型？

視覺-語言-動作（VLA）模型是具身 AI 的核心範式。VLA 模型將視覺觀察和語言指令映射到動作序列，通過與環境交互來執行任務。VLA Survey IEEE

一篇 2026 年的 Wiley 綜述提出了一個以動作生成為中心的分類法，將 VLA 模型分為三種範式：直接策略學習、生成式動作建模和推理引導建模。VLA Survey Wiley IEEE 的綜述則進一步系統化了 VLA 模型在具身 AI 中的角色，強調了從感知到行動的完整閉環。VLA Survey IEEE

從螢幕到物理世界

VLA 模型和之前討論的 GUI Agent 有一個根本區別：行動空間不同。

GUI Agent 的動作是點擊、輸入、滾動——它們發生在螢幕的二維空間中。
VLA 模型的動作用關節角度、力矩、末端執行器位置——它們發生在物理世界三維空間中，受到重力、摩擦力、碰撞的約束。VLA Survey IEEE

這讓 VLA 模型面臨 GUI Agent 不會遇到的挑戰：

  • 連續控制：動作不是離散的選項，而是連續的數值。一個微小的角度偏差可能導致完全不同的結果。
  • 物理約束：機器人不能穿過桌子，不能抓住不存在的物體，不能違反物理定律。
  • 實時性：物理世界不會等待。機器人必須在毫秒級的時間內完成感知-推理-行動的閉環。

Gemini Robotics 2：從腳趾到指尖

2026 年 7 月 30 日，Google DeepMind 發布了 Gemini Robotics 2，這是目前具身 AI 領域最重要的進展之一。Gemini Robotics 2

它包含三個核心模型：

  • Gemini Robotics 2（VLA 模型）：將視覺和語言輸入轉換為運動控制，能夠控制完整的人形機器人——從腳趾到指尖——以及其他雙臂機器人，並在雙手與夾爪上實現更精細的靈巧操作。Gemini Robotics 2
  • Gemini Robotics ER 2（具身推理模型）：一個視覺語言模型，作為 Agent 使機器人能夠與人類溝通、理解物理世界、規劃持續數分鐘的多步驟任務，並支援多機器人協同作業。Gemini Robotics 2
  • Gemini Robotics On-Device 2：最高效的 VLA 模型，優化為在機器人設備上本地運行，可以在幾小時內快速適應全新的機器人本體。Gemini Robotics 2

Gemini Robotics 2 使機器人能夠推理每一個動作，解鎖了廣泛的任務範圍。它可以使機器人行走、蹲下、伸展、操作物體來清理雜亂的房間，甚至可以與其他機器人合作更快完成任務。Gemini Robotics 2

人形機器人的連續任務

2026 年 9 月 28 日，德塔智能發布了原生人形機器人基礎模型 Delta-0。在官方展示的一鏡到底技術 Demo 中，搭載該模型的人形機器人在 210 秒內規劃 32 步，連續完成臥室、客廳、廚房等家居場景中的 9 項常見任務，包括識別環境、整理床鋪、撿起玩偶、將衣物放入洗衣機、打開冰箱找到變質水果、丟棄水果等。Delta-0 這些數字來自官方展示，可以證明系統展示過這些能力，但不能單獨證明它在所有真實環境都具備同等可靠性。

這個 Demo 展示了一個關鍵的能力：機器人需要根據移動中獲得的信息自主切換目標，調整任務優先級和順序，並讓前一動作留下的身體姿態和物體狀態成為後續決策條件。Delta-0

Delta-0 採用了「大腦-小腦-力位」協同設計：「大腦」根據多模態傳感指揮手腳運動；「小腦」負責全身協調平衡與運動本能；「力位」混合控制兼顧運動位置與接觸受力。Delta-0 在數據與訓練上，它復用人類全身動作數據與跨本體數據，並採用「真實-仿真-真實」的策略學習與評估體系。Delta-0

七、從具身到共生：下一個範式

具身 AI 讓 AI 能透過機器人等實體與物理環境互動，但要實現安全、可靠且與人類深度協作的共生 AI，仍有一段路要走。

一篇 2026 年的綜述提出了一個更深層的概念：共生 AI（Cobodied AI）。Cobodied AI Survey

共生 AI 的核心洞察是：當前的具身 AI 系統雖然增強了開放世界的適應性，但未能滿足人類對內在安全性和對齊性日益增長的需求。它們試圖構建獨立於人類主體視角的解決方案，這成為制約 AI 系統有效性和安全性的核心瓶頸。首先，Agent 難以解讀隱含的人類意圖和偏好，導致決策和行動偏離用戶需求。其次，沒有深度人類對齊的自主決策可能偏離人類預期，造成安全風險或倫理衝突。Cobodied AI Survey

共生 AI 以人為中心，追求三個核心特徵：以人為中心的自我中心接地、雙模式認知整合、物理共身。Cobodied AI Survey

這意味著：下一個前沿不是讓 AI 更自主，而是讓 AI 更對齊——理解人類的意圖，在人類的物理空間中安全地行動，在人類需要的時候提供幫助。

八、系列回顧：從感知到行動

讓我們回顧整個系列：

篇號主題核心問題
01什麼是多模態 AI？AI 如何同時理解文字、圖片、聲音與影片？
02多模態模型架構Encoder、Projector、LLM 如何組合？
03視覺編碼器與視覺 Token圖片如何轉換成模型可以處理的表示？
04跨模態對齊圖片與文字如何建立共同語義空間？
05多模態訓練模型如何從「看見」變成「理解」？
06多模態推理與部署Visual Token 為什麼昂貴？如何壓縮與加速？
07多模態 RAG如何檢索圖片、PDF、表格與影片？
08多模態 AgentAI 如何從理解資訊進一步採取行動？
09多模態評估模型真的理解了，還是在猜？
10從多模態到具身智能AI 如何從理解世界走向與世界互動？

這條路的起點是像素。終點是行動。

中間經過的每一步——編碼、對齊、訓練、推理、檢索、行動、評估——都是為了讓模型從「看到」走向「理解」，從「理解」走向「互動」。

而互動的終點，不是 AI 取代人類，而是 AI 與人類在同一個物理空間中協作。

九、結語

這個系列整理的技術演進，是從「只能讀文字」到「能看、能聽、能讀、能行動」的過程。

2026 年讓這條路徑變得具體：即時多模態開始學會「何時該沉默」，空間智能開始從被動融合轉向主動檢索幾何證據，世界模型開始服務於規劃而非僅僅生成畫面，VLA 與人形機器人開始展示連續、長程、全身協調的任務能力。但不同基準也顯示，感知、推理與實際行動能力之間仍存在落差。以相關基準原論文當時的實驗為例，GPT-4V 在 MMMU 的準確率為 56%，在 MathVista 為 49.9%。MMMU MathVista 這些歷史結果說明，單一基準或單一分數不足以完整判斷模型的多模態理解能力。

而在具身智能領域，挑戰更大。物理世界不會給你第二次機會。一個錯誤的動作可能導致不可逆的後果。

但方向是明確的：

  • 從靜態到動態：從圖片到影片，從離線到實時。
  • 從 2D 到 3D：從平面理解到空間感知。
  • 從預測到規劃：從理解現狀到模擬可能的未來。
  • 從螢幕到身體：從點擊按鈕到操作物體。
  • 從獨立到共生：從自主行動到與人類協作。

這些轉變正在同時發生，而且相互加速。如果說前九篇文章是在拆解「理解」的每一個零件，那麼 2026 年留給我們的問題是：當這些零件開始組裝成能在物理世界中行動的系統時，我們準備好了嗎？

多模態 AI 的下一個階段，不只是讓模型「看懂」世界，而是讓模型「進入」世界。
不是取代人類，而是與人類在同一個世界中行動。

感謝你讀完這個系列。
希望這些文字能幫助你理解多模態 AI 的過去、現在和未來。
更重要的是，希望它能激發你去思考：當 AI 不再只是螢幕上的文字，而是能看、能聽、能行動的實體時，我們該如何與它共存？

參考文獻

◆ END
← 回到筆記列表