多模態評估：模型真的理解了，還是在猜？

前八篇文章，我們走完了一條完整的鏈路：從像素到視覺 token、從跨模態對齊到多模態訓練、從推理優化到 RAG 到 Agent。
我們知道了模型怎麼「看」、怎麼「對齊」、怎麼「訓練」、怎麼「推理」、怎麼「檢索」、怎麼「行動」。
但現在，是時候停下來問一個更根本的問題了：

它真的理解了？還是在猜？

當你給模型看一張圖，它說「這是一隻貓坐在沙發上」，你如何判斷它是真的看到了貓和沙發，還是因為「貓」和「沙發」在訓練數據中經常一起出現，所以它猜了一個最可能的答案？

這一篇，我們要進入多模態 AI 最核心也最棘手的問題：評估。

一、Question：為什麼傳統評估不夠用？

在純文字領域，評估相對直接。給定一個問題，檢查答案是否正確。有標準答案，有明確的指標——準確率、F1、BLEU、ROUGE。

但多模態評估面臨一個根本性的困難：「理解」本身不是單一維度的。

一個模型可能在某個層面表現優異，在另一個層面完全失敗。一個模型可能能正確識別圖片中的物體，但不能推理物體之間的關係。一個模型可能能回答簡單問題，但在需要多步推理的任務上崩潰。一個模型可能「看起來」理解了，但它的回答是基於語言先驗而非視覺信息。

一篇近期的 IEEE Access 綜述追蹤了多模態評估從識別到推理的演變，指出評估正在從簡單的識別任務轉向更複雜的推理和對抗性測試。AI Cognitive Examination 另一篇 2025 年的 Science China Information Sciences 綜述則將 LMM 評估分為兩個主軸：理解評估和生成評估，並指出當前評估需要同時覆蓋通用和專用能力。LMM Evaluation Survey

這意味著：要真正評估一個多模態模型，我們需要拆解「理解」的不同面向。

二、理解的六個評估維度

以下六個維度是為了方便理解而整理的評估框架，不代表它們彼此獨立，也不代表所有模型都會按照固定順序發展。實際任務往往同時涉及多個維度，而幻覺則可能出現在不同維度中。

維度一：Perception——能不能正確辨識？

這是最基礎的維度。模型能不能正確識別圖片中的物體、場景、顏色、形狀、文字？

VQA v2 是這個維度最經典的基準。它包含超過 110 萬個問題，覆蓋 20 萬張 COCO 圖片。VQA v2 的核心設計是平衡——對於每個問題，數據集包含一對互補的圖片和問題，讓語言先驗無法輕易作弊。如果模型只根據問題本身猜測答案（比如看到「什麼顏色」就猜「白色」），它在 VQA v2 上的表現會顯著下降。VQA v2

VQA v2 的評估指標是準確率，計算方式會對多個人工標註者的答案進行平均，以緩解答案措辭差異帶來的影響。

MME 是第一個專門為 MLLM 設計的綜合評估基準。它測量感知和認知兩個維度，共 14 個子任務。為了降低直接重用公開資料集所帶來的洩漏風險，MME 的所有指令-答案對都是人工設計的。在 MME 上，30 個先進 MLLM 被系統評估，結果顯示現有模型仍有很大的改進空間。MME

維度二：Grounding——能不能指出信息在哪？

識別不等於定位。一個模型可能知道圖片中有一隻貓，但不知道貓在圖片的哪個位置。

Grounding 評估的是模型將語言描述對應到視覺區域的能力。例如，給定「貓」這個詞，模型能不能在圖片中畫出貓的邊界框？

這個維度對於多模態 Agent 至關重要。當 Agent 需要「點擊登入按鈕」時，它需要把「登入按鈕」這個語言描述對應到螢幕上特定位置的像素區域。如果 Grounding 能力不足，Agent 就會點錯位置。

VisualWebArena 是一個評估多模態網頁 Agent 的基準，涵蓋需要視覺資訊才能有效完成的真實網頁任務。不同的 Agent 設定可以使用截圖、accessibility tree 等資訊來理解介面並執行操作。VisualWebArena

維度三：Reasoning——能不能根據視覺信息推理？

識別和定位是「看到了什麼」，推理是「這意味著什麼」。

MMMU 是這個維度最具挑戰性的基準。它包含 11.5K 個大學級別的多學科問題，來自考試、測驗和教科書，覆蓋 6 個核心學科：藝術與設計、商業、科學、健康與醫學、人文與社會科學、技術與工程。這些問題跨 30 個學科和 183 個子領域，包含 30 種高度異質的圖像類型——圖表、示意圖、地圖、表格、樂譜、化學結構式等。MMMU

MMMU 的評估結果顯示，在該論文當時的實驗中，GPT-4V 和 Gemini Ultra 的準確率分別為 56% 和 59%。MMMU 這意味著模型在需要專家級知識和深思熟慮推理的任務上，仍有巨大的提升空間。

MMMU-Pro 是 MMMU 的增強版本，通過三步流程讓評估更嚴格：過濾掉純文字模型即可回答的問題、擴充候選選項、引入視覺-only 輸入設定，旨在評估模型的真實理解和推理能力，而非模式匹配。MMMU-Pro

MathVista 專注於數學推理。它包含 6,141 個例子，來自 28 個現有多模態數據集和 3 個新建數據集（IQTest、FunctionQA、PaperQA）。完成這些任務需要細粒度的深層視覺理解和組合推理能力。在該論文當時的實驗中，GPT-4V 在 MathVista 上達到 49.9% 的準確率，但距離人類表現仍有 10.4% 的差距。MathVista 這些數字是特定論文當時的結果，不是 2026 年所有模型的最新水準。

維度四：Hallucination——是不是產生了圖片中不存在的信息？

這是多模態評估中最關鍵也最令人不安的維度。

幻覺（Hallucination） 指的是模型生成了圖片中不存在的物體、屬性或關係。模型說「圖片中有一隻狗」，但圖片中只有貓。

POPE 是專門診斷物體幻覺的基準。它採用二分類查詢的方式——對於每張圖片，詢問模型「圖片中是否有 [物體]？」。POPE 包含三種採樣設置：隨機、流行、對抗，以確保評估的多樣性和挑戰性。POPE

一項 2026 年的研究在 POPE 基準上評估了四個 VLM，跨越 12,000 個樣本。在該研究的模型、資料集與評估設定下，Claude Sonnet 4.5 達到了 89.0% 的準確率和 0.881 的 F1 分數，而 Moondream 2B 的幻覺風險最低，僅為 1.7%。但本地模型表現出顯著的精確率-召回率權衡：精確率超過 96%，但召回率僅約 50%。錯誤模式分析顯示，「人」是最常被遺漏的物體類別（536 次），而「貓」是最常被幻覺的物體。POPE 評估 這些結論限於該研究的特定設定，不宜擴大解讀為普遍幻覺率。

HallusionBench 更進一步。它不只看物體幻覺，還評估語言幻覺和視覺錯覺的糾纏。HallusionBench 由 346 張圖像和 1,129 個問題組成，全部由人類專家精心製作。它的核心問題是：「你看到的是你以為的，還是你以為的是你看到的？」HallusionBench

HallusionBench 對 GPT-4V、Gemini Pro Vision、Claude 3 和 LLaVA-1.5 等當時先進的 LVLM 提出了重大挑戰，強調對視覺數據的細微理解和解釋。HallusionBench

維度五：Temporal Understanding——影片中的時間與事件是否理解？

圖片是靜態的。影片是動態的。當模型處理影片時，它需要理解時間維度——什麼先發生，什麼後發生，事件之間的因果關係是什麼。

這個維度的評估比靜態圖片複雜得多。模型需要：

• 時序定位：在長影片中找到特定事件發生的時間點。
• 時序推理：理解「A 導致 B」這樣的因果關係。
• 時序一致性：保持對影片中事件順序的連貫理解。

Video-MME 是首個全面評估多模態 LLM 影片分析能力的基準，涵蓋多種影片類型與長度。Video-MME VideoMME-long 則進一步聚焦長影片的時序理解。M3-Agent 在 M3-Bench 與 VideoMME-long 上的實驗，展示了長期記憶機制對長影片問答的潛在增益。M3-Agent M3-Bench 本身是 M3-Agent 研究中提出的長影片問答基準，包含機器人視角與網頁來源的影片。M3-Agent

維度六：Compositional Understanding——能不能理解多個物件之間的關係？

一張圖片中有多個物體。它們之間有空間關係（左邊、上面）、屬性關係（紅色的、大的）、動作關係（正在吃、正在跑）。

組合理解評估的是模型能不能正確理解這些關係。例如，給定一張「貓在沙發上」的圖片，模型能不能回答「貓在哪裡？」（空間關係）、「貓是什麼顏色的？」（屬性關係）、「貓在做什麼？」（動作關係）。

這個維度被廣泛認為是當前模型的薄弱環節之一，但具體的失敗模式與嚴重程度仍取決於模型、任務與評估設計。

三、基準的全景圖

綜合評估基準

MMBench 是一個值得特別關注的基準。它覆蓋 20 個細粒度能力維度，使用 CircularEval 策略——將自由形式的預測轉換為預定義選項，以對指令跟隨能力有限的模型產生準確的評估結果。MMBench 提供中英文兩個版本，支持跨語言比較。MMBench

幻覺評估基準

推理與專業知識基準

MME-SCI 將科學推理細分為數學、物理、化學與生物等領域。在僅圖像評估模式下，o4-mini 的數學題準確率為 52.11%，物理、化學與生物題則分別為 24.73%、36.57% 與 29.80%。MME-SCI 這說明模型的表現會隨學科與輸入模式而改變。

影片理解基準

統一模型評估

MME-Unify 是第一個開放可復現的基準，專門設計來評估多模態理解、生成和混合模態生成能力。它包含理解、生成和統一任務三個部分，其中統一任務有五個子任務，嚴格評估模型的理解和生成能力如何相互增強。17 個 U-MLLM 在 MME-Unify 上被評估。MME-Unify

四、當前評估的局限性

局限性一：數據洩漏

許多基準的問題和答案在訓練數據中出現過。模型可能不是「理解」了圖片，而是「記住」了答案。

MME 通過人工設計所有指令-答案對來降低這個風險。MME 但並非所有基準都這樣做。

局限性二：文字先驗的干擾

模型可能不是根據視覺信息回答，而是根據語言先驗。例如，看到「什麼顏色」的問題，模型可能猜「白色」而不是看圖。

VQA v2 通過平衡設計來對抗這個問題，但它並沒有完全解決。VQA v2

局限性三：靜態基準 vs 動態能力

模型在快速進化，但基準是靜態的。一個在 2024 年極具挑戰性的基準，在 2026 年可能已經被模型「攻克」，但新的能力缺口又出現了。

一篇近期的綜述指出，評估的答案在於持續、對抗性的評估過程——不是一次性的基準測試，而是持續發現模型失敗模式的循環。AI Cognitive Examination

局限性四：評估維度不完整

當前的基準覆蓋了感知、推理、幻覺等維度，但仍有一些重要的維度被忽視：

• 校準（Calibration）：模型對自己的答案有多確信？它知道自己什麼時候不知道嗎？
• 魯棒性（Robustness）：模型在圖片被旋轉、模糊、遮擋後還能正確回答嗎？
• 效率（Efficiency）：模型需要多少計算資源才能達到這個準確率？
• 多輪交互：模型在多輪對話中能保持視覺理解的一致性嗎？

MathVista 的標準主要聚焦任務準確率，不能單靠這個分數衡量校準、魯棒性與效率。MathVista

局限性五：基準與真實任務的差距

基準任務是精心設計的、有明確答案的。真實任務是模糊的、開放的、多步驟的。

一個模型可能在 MMMU 上達到 60% 的準確率，但在真實世界中幫用戶填寫一份複雜的稅務表單時完全失敗。基準和現實之間的鴻溝，是評估領域最大的挑戰。

五、評估的未來方向

方向一：對抗性評估

不是靜態地測試模型「知不知道」，而是主動尋找模型的失敗模式。用對抗樣本、分佈外樣本、邊界案例來挑戰模型。

一篇近期的綜述將評估的未來描述為持續、對抗性的過程——評估不是終點，而是一個不斷發現新失敗模式的循環。AI Cognitive Examination

方向二：過程評估

不只看最終答案，還看推理過程。模型的推理步驟是否合理？是否真正使用了視覺信息？還是只是猜了一個答案？

方向三：多維度評估

校準、魯棒性、效率、公平性——這些維度應該被納入評估體系，而不僅僅是準確率。

方向四：真實任務評估

用真實世界的任務來評估模型——填表單、訂票、整理數據、寫報告。這些任務沒有標準答案，但它們的成功與否是明確的。

方向五：持續評估

不是一次性的基準測試，而是持續監控模型的部署表現。收集生產環境中的失敗案例，加入評估集，形成持續改進的循環。

六、小結

多模態評估的核心問題是：模型真的理解了，還是在猜？

這個問題沒有簡單的答案。因為「理解」本身是多維度的：

• Perception：能不能正確辨識？VQA v2、MME 評估這個維度。VQA v2 MME
• Grounding：能不能指出信息在哪？VisualWebArena 涵蓋需要視覺落地的網頁任務。VisualWebArena
• Reasoning：能不能根據視覺信息推理？MMMU、MathVista 是這個維度最具挑戰性的基準。MMMU MathVista
• Hallucination：是不是產生了圖片中不存在的信息？POPE、HallusionBench 專門診斷這個維度。POPE HallusionBench
• Temporal Understanding：影片中的時間與事件是否理解？Video-MME、VideoMME-long、M3-Bench 評估這個維度。Video-MME M3-Agent
• Compositional Understanding：能不能理解多個物件之間的關係？

不同模型在感知、推理與幻覺評估上呈現不同的能力落差。以相關基準原論文當時的實驗為例，GPT-4V 在 MMMU 的準確率為 56%，在 MathVista 為 49.9%。MMMU MathVista 這些歷史結果說明，單一基準或單一分數不足以完整判斷模型的多模態理解能力。

評估不是終點。它是一個持續的、對抗性的過程——每當你以為模型已經「理解」了，總會有新的失敗模式等待被發現。

下一篇，也是這個系列的最後一篇，我們會把前面的所有線索匯聚在一起：從多模態到具身智能——AI 如何從理解世界走向與世界互動？ 我們會討論影片理解、即時多模態、空間理解、世界模型、機器人，以及多模態 AI 的下一個前沿。

---

下一篇預告

《從多模態到具身智能：AI 如何從理解世界走向與世界互動？》

我們會把前九篇的線索匯聚在一起：Vision → Representation → Alignment → Training → Reasoning → Retrieval → Agent → Evaluation → Embodied AI。討論影片理解、即時多模態、空間理解、世界模型、機器人、具身智能。

---

參考文獻

• [VQA v2] Goyal, Y., et al. “Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering.” CVPR, 2017. https://arxiv.org/abs/1612.00837
• [MME] Fu, C., et al. “MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models.” NeurIPS, 2025. arXiv:2306.13394. https://arxiv.org/abs/2306.13394
• [MMMU] Yue, X., et al. “MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI.” CVPR, 2024. https://arxiv.org/abs/2311.16502
• [MMMU-Pro] Yue, X., et al. “MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark.” arXiv:2409.02813 / ICLR, 2025. https://arxiv.org/abs/2409.02813
• [POPE] Li, Y., et al. “Evaluating Object Hallucination in Large Vision-Language Models.” EMNLP, 2023. https://arxiv.org/abs/2305.10355
• [HallusionBench] Guan, T., et al. “HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models.” CVPR, 2024. https://arxiv.org/abs/2310.14566
• [MathVista] Lu, P., et al. “MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts.” ICLR, 2024. https://arxiv.org/abs/2310.02255
• [MMBench] Liu, Y., et al. “MMBench: Is Your Multi-modal Model an All-around Player?” ECCV, 2024. https://arxiv.org/abs/2307.06281
• [MME-Unify] Fu, C., et al. “MME-Unify: A Comprehensive Benchmark for Unified Multimodal Understanding and Generation Models.” ICLR, 2026. https://arxiv.org/abs/2412.19437
• [AI Cognitive Examination] Ravishankara, M., & Persad Maharaj, V. V. “The Artificial Intelligence Cognitive Examination: A Survey on the Evolution of Multimodal Evaluation From Recognition to Reasoning.” IEEE Access, vol. 14, pp. 2690–2725, 2026. DOI: 10.1109/ACCESS.2025.3649182
• [LMM Evaluation Survey] Zhang, Z., et al. “Large Multimodal Models Evaluation: A Survey.” Science China Information Sciences, vol. 68, no. 12, article 221301, 2025. DOI: 10.1007/s11432-025-4676-4
• [Video-MME] Fu, C., Dai, Y., Luo, Y., et al. “Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis.” arXiv:2405.21075, 2024. https://arxiv.org/abs/2405.21075
• [M3-Agent] Long, L., et al. “Seeing, Listening, Remembering, and Reasoning: A Multimodal Agent with Long-Term Memory.” ICLR, 2026. arXiv:2508.09736. https://arxiv.org/abs/2508.09736
• [VisualWebArena] Koh, J. Y., et al. “VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks.” ACL, 2024. https://arxiv.org/abs/2401.13649
• [POPE 評估] Zatserkovnyi, R., Novosad, Z., & Zatserkovna, R. “Assessing Hallucination Risk in Accessible Image Captions.” 2026 30th International Conference on Information Technology (IT), pp. 1–4, 2026. DOI: 10.1109/IT67293.2026.11435681
• [MME-SCI] Ruan, J., Jiang, D., Gao, X., Liu, T., Fu, Y., & Kang, Y. “MME-SCI: A Comprehensive and Challenging Science Benchmark for Multimodal Large Language Models.” Proceedings of the AAAI Conference on Artificial Intelligence, 40(11), 8760–8768, 2026. DOI: 10.1609/aaai.v40i11.37829