多模態推理：Visual Token 為什麼這麼昂貴？

上一篇文章我們追蹤了多模態模型從對齊到理解的訓練過程。
兩階段訓練——先對齊，再指令微調——讓模型學會了「看圖說話」。
但訓練只是一半。
當你把訓練好的模型部署到生產環境，一個更現實的問題立刻浮現：推理成本。
一張圖片產生數百個視覺 token，而一段同等資訊量的文字可能只需要數十個 token。
這些視覺 token 讓上下文長度暴增、KV Cache 膨脹、延遲和成本遠高於純文字推理。
這一篇，我們要回答一個工程問題：視覺 token 到底貴在哪裡，以及我們能做什麼？

Image → Visual Tokens → Context Length ↑ → KV Cache ↑ → Latency ↑

一、Problem：視覺 Token 為什麼昂貴？

一張 384×384 的圖片，經過 SigLIP 編碼器（patch size 14），產生 729 個視覺 token。SigLIP 2
一張 1344×1344 的圖片，經過動態分辨率處理，可能產生數千個視覺 token。AdaFocus

這些 token 進入 LLM 後，會引發一連串的成本膨脹：

影響	說明
Context Length	序列長度暴增，prefill 階段的計算與記憶體需求隨之增加
Attention Cost	標準全注意力的主要計算成本隨序列長度呈二次方增長
KV Cache	每個 token 都要存儲 Key 和 Value，記憶體佔用線性增長
Decoding Latency	每一步解碼都要讀取整個 KV Cache，記憶體頻寬成為瓶頸
GPU Memory	KV Cache 與模型權重爭奪顯存，限制 batch size

需要區分的是：prefill 階段的總計算量包含視覺編碼器、投影層、注意力機制和其他運算，不能簡單地整體描述為某種固定的複雜度。但其中標準全注意力的計算成本隨序列長度呈二次方增長，這是視覺 token 膨脹被急劇放大的核心原因。FlashAttention 等技術可以降低注意力的額外記憶體需求，但不會消除標準全注意力的二次方計算複雜度。

一項 2026 年的系統綜述將這個問題稱為 visual token dominance——視覺 token 主導了推理成本，成為 LVLM 推理的系統性效率瓶頸。這個瓶頸由三個因素共同驅動：高分辨率特徵提取的計算量、二次方增長的注意力複雜度，以及記憶體頻寬約束下的解碼階段。Visual Token Dominance

更具體地說，視覺 token 的冗餘度極高。一張圖片中，大部分區域是背景、天空、牆面等低信息密度區域。但標準的視覺編碼器會均勻地為每個 patch 生成一個 token，不區分重要與否。AdaFocus 的研究將這個問題識別為 Information Redundancy——大量 token 代表的是無關的背景信息。AdaFocus

二、Failed Attempt：幾種失敗的簡單方案

嘗試一：直接降低圖片分辨率

最直覺的做法是把圖片縮小。一張 384×384 的圖片變成 224×224，token 數從 729 降到 256。

但這樣做會丟失細節。文字、數字、小物體都會變得模糊。對於需要 OCR 或細粒度識別的任務，降低分辨率意味著模型「看不清」。

嘗試二：直接減少視覺 token 數量

在編碼器輸出後，直接丟棄一部分 token。比如只保留前 100 個 token。

但視覺 token 的順序不攜帶語義——你不能像截斷文字那樣「只保留前 100 個詞」。丟棄的 token 可能包含關鍵信息，導致模型完全忽略圖片的某些區域。

嘗試三：用純文本模型處理圖片描述

先用一個圖像描述模型生成文字描述，再把描述餵給純文本 LLM。

這避免了視覺 token，但引入了新的瓶頸：圖像描述模型本身可能遺漏細節，而且描述是單向的——你無法根據用戶的後續問題重新查看圖片的特定區域。對於多輪對話和視覺問答，這種方法完全不夠用。

嘗試四：端到端優化全部參數

把視覺編碼器、投影層、LLM 一起微調，讓模型學會「用更少的 token」。

訓練成本極高，而且實驗表明，視覺編碼器的微調存在收益遞減——全量微調並不會顯著優於部分微調。IAA 更重要的是，這沒有解決推理時的 token 數量問題：你可以在訓練時優化表示，但推理時 token 數量依然由圖片分辨率和 patch 大小決定。

三、Observation：視覺 Token 的成本分佈不均勻

觀察一：大部分 token 的注意力貢獻極低

2026 年的 CAPA 研究揭示了一個關鍵發現：Attention Contribution——用 value vector 的幅度加權注意力概率——比單純的注意力概率更能準確判斷哪些視覺 token 是重要的。CAPA

換句話說，不是所有被「關注」的 token 都同等重要。一個 token 可能獲得高注意力分數，但如果它的 value vector 幅度很小，它對最終輸出的貢獻也微乎其微。

觀察二：不同圖片的信息密度差異巨大

一張白底黑字的文檔截圖，和一張複雜的自然風景照，token 冗餘度完全不同。文檔截圖中幾乎每個 patch 都有信息（文字），而風景照中大部分 patch 是天空、草地等低信息區域。

LLaVA-Prumerge 的 visualization 清楚地展示了這一點：複雜的圖片（如帶文字的圖片）會採樣更多的 attentive tokens，而簡單的圖片只採樣少量 token。LLaVA-Prumerge

觀察三：視頻中的冗餘比圖片更嚴重

視頻是圖片的序列。相鄰幀之間存在大量重複信息。MoPrune 的研究發現，在 LLaVA-OneVision 上，保留 25% 的視覺 token 就能匹配甚至略微提升 dense baseline 的性能，而保留 15% 的 token 能保留 99% 的原始性能。MoPrune

觀察四：KV Cache 的增長速度可能超過模型權重

以一個 7B 模型（FP16/BF16 權重約 14 GB）為例，KV Cache 的大小取決於層數、KV head 數、上下文長度、batch size 和精度。對於高分辨率圖片產生的數百個視覺 token，加上對話歷史，KV Cache 可能達到數 GB。在長對話或視頻場景中，KV Cache 甚至可能超過模型權重本身，成為顯存的主要消耗者。

四、Root Cause：為什麼視覺 Token 天然冗餘？

原因一：視覺編碼器的均勻採樣假設

視覺編碼器（如 ViT）的設計假設是：每個 patch 同等重要。它為每個 patch 生成一個 token，不做區分。

但真實圖片不是均勻的。一張圖片中，前景物體可能只佔 20% 的區域，背景佔 80%。模型為背景生成的 80% 的 token，大部分是冗餘的。

原因二：視覺表示通常需要較多 token 才能保留空間細節

文字 token 經過分詞器壓縮，一個詞可以代表一個概念。視覺 token 則不然——相鄰的 patch 在像素層面高度相關，但模型需要保留這些 patch 來維持空間解析度。

這意味著：要達到相同的語義覆蓋度，視覺表示通常需要更多的 token。 具體的 token 數量比例取決於視覺編碼器、解析度、切圖策略與文字 tokenizer，不能宣稱兩種 token 存在固定的信息量比例。

原因三：注意力機制的二次方複雜度

標準全注意力的計算成本隨序列長度呈二次方增長。token 數翻倍，注意力矩陣的面積翻四倍。
對於視覺 token，這意味著：prefill 階段中注意力部分的 FLOPs 與 token 數的平方成正比。AdaFocus 的研究指出，動態分辨率策略（如 AnyRes）將圖片切片後，視覺 token 數量呈二次方爆炸——這就是「高分辨率的詛咒」。AdaFocus

原因四：KV Cache 與模型權重爭奪顯存

KV Cache 的大小與序列長度和 batch size 成正比。視覺 token 讓序列長度暴增，KV Cache 隨之膨脹。
在推理時，KV Cache 必須常駐顯存。當 KV Cache 佔用的顯存接近模型權重的規模時，可用的 batch size 被嚴重壓縮，吞吐下降，每請求成本上升。

五、Solution：視覺 Token 的壓縮與加速

token_pruning_vs_merging

策略一：Token Pruning（修剪）

核心思想：丟棄不重要的視覺 token。

方法分為三類：

類型	說明	代表
Vision-side	在編碼器輸出端修剪	LLaVA-Prumerge
LLM-side	在 LLM 內部根據注意力修剪	FastV、CAPA
Hybrid	兩者結合	多數先進方法

LLaVA-Prumerge 是一個代表：它自適應地選擇視覺 token。複雜的圖片（如帶文字的圖片）採樣更多 token，簡單的圖片採樣更少。它能減少 prefill 階段約 4 到 10 倍的 FLOPs，同時保持可比性能。LLaVA-Prumerge

CAPA 進一步改進了選擇標準：用 Attention Contribution（注意力概率 × value vector 幅度）代替單純的注意力概率，更準確地識別真正重要的 token。CAPA

策略二：Token Merging（合併）

核心思想：捨棄了傳統的 Token 刪除機制，轉而採用基於相似度的 Token 聚合策略。

SimiCache 的觀察是：視覺 token 在 MLLM 中經常表現出高度相似性，導致跨層的冗餘 key 和 value 表示。SimiCache 用一個兩步聚類算法，在每一層把高度相似的 KV cache 分組，然後通過加權求和合併成代表性 token。在 10% 的 cache budget 下，SimiCache 能減少約 81% 的記憶體使用，同時保持優越的生成質量。SimiCache

策略三：Dynamic Resolution（動態分辨率）

dynamic_resolution

核心思想：並不是所有圖片都需要高分辨率。根據任務需要動態選擇分辨率。

CARES（Context-Aware Resolution Selector）是一個輕量級預處理模塊，給定圖片-查詢對，預測最小足夠的輸入分辨率。

AdaFocus 更進一步：它用指令感知的 Visual Resampler，根據用戶的文字指令動態查詢多尺度特徵金字塔。對於需要看細節的任務（如「讀出圖中的文字」），它關注高頻細節；對於只需要理解整體場景的任務，它關注抽象語義。根據其發表於 Pattern Recognition 的論文，AdaFocus 能將 1344×1344 的輸入壓縮到固定的 576 個關鍵 token，同時減少 80% 的視覺 token（在 672×672 分辨率下），加速推理 4.3 倍，並在 TextVQA 上超越 LLaVA-NeXT 4.3 個點。AdaFocus

策略四：KV Cache 優化

視覺 token 不僅增加了 prefill 的計算量，還讓 KV Cache 膨脹。針對視覺 token 的 KV Cache 優化是一個專門的方向。

SimiCache：基於 token 相似性的 KV cache 合併，利用視覺 token 的高相似性。SimiCache
HybridKV：在 Qwen2.5-VL-7B 上，HybridKV 將 KV cache 記憶體減少最多 7.9 倍，並實現 1.52 倍更快的解碼。HybridKV

策略五：Serving 系統優化

在系統層面，多模態推理的 serving 也需要專門的設計。

ElasticMM 是一個 MLLM serving 系統，它：

通過 modality-aware load balancer 將請求按模態分組；
解耦推理階段，通過 elastic partition scheduling 實現並行度調整和自適應擴縮；
通過統一的 multimodal prefix caching 和非阻塞編碼提升推理效率。

實驗顯示，ElasticMM 將 TTFT 降低最多 4.2 倍，吞吐提升 3.2 到 4.5 倍。ElasticMM

策略六：Flash Attention 與硬體協同

MoPrune 強調其方法完全兼容 Flash Attention 等硬體高效技術。這意味著 token pruning 和硬體加速不是互斥的——你可以在修剪後的短序列上繼續使用 Flash Attention，獲得雙重收益。MoPrune

六、小結

layered_inference_optimization

視覺 token 之所以昂貴，是因為四個結構性原因：

冗餘。 視覺編碼器均勻採樣，大部分 token 代表背景等低信息區域。
信息密度與壓縮方式不同。 視覺表示通常需要較多 token 才能保留空間細節，具體比例取決於編碼器、解析度與任務。
二次方複雜度。 標準全注意力的計算成本與 token 數的平方成正比，視覺 token 的膨脹被二次方放大。
KV Cache 膨脹。 每個視覺 token 都佔用 KV Cache 空間，與模型權重爭奪顯存，限制 batch size 和吞吐。

針對這些問題，2026 年的研究提供了多層解法：

策略	代表方法	核心效果
Token Pruning	LLaVA-Prumerge、CAPA	減少 prefill FLOPs 4-10 倍
Token Merging	SimiCache	減少記憶體 81%
Dynamic Resolution	AdaFocus	減少 token 80%，加速 4.3×
KV Cache 優化	HybridKV	減少 KV cache 記憶體 7.9×
Serving 優化	ElasticMM	TTFT 降低 4.2×，吞吐提升 3.2-4.5×

這些策略並非互斥的替代方案，而是可以自由組合的優化層。每種方法在插入位置、資訊依賴、相容性與精度損失上各有不同；系統可依據自身的資源限制與效能瓶頸，彈性搭配最適合組合，而非遵循千篇一律的固定流程。

下一篇預告

《多模態 RAG：如何檢索圖片、PDF、表格與影片？》

我們會討論多模態檢索的架構設計：多模態嵌入、跨模態檢索、表格處理、影片檢索、混合檢索策略，以及如何把檢索到的證據有效地餵給多模態 LLM。

參考文獻

[LLaVA-1.5] Liu, H., et al. “Improved Baselines with Visual Instruction Tuning.” CVPR, 2024. https://arxiv.org/abs/2310.03744
[SigLIP] Zhai, X., et al. “Sigmoid Loss for Language Image Pre-Training.” ICCV, 2023. https://arxiv.org/abs/2303.15343
[SigLIP 2] Tschannen, M., et al. “SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features.” 2025. https://arxiv.org/abs/2502.14786
[LLaVA-Prumerge] Shang, Y., et al. “LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models.” ICCV, 2025, pp. 22857-22867. https://openaccess.thecvf.com/content/ICCV2025/html/Shang_LLaVA-PruMerge_Adaptive_Token_Reduction_for_Efficient_Large_Multimodal_Models_ICCV_2025_paper.html
[AdaFocus] Ye, Z., & Liu, X. “AdaFocus: Instruction-Aware Dynamic Visual Token Compression for Efficient Multi-modal Understanding.” Pattern Recognition, 2026. DOI: 10.1007/978-3-032-31583-0_11
[MoPrune] Hong, W., et al. “MoPrune: Scene-Guided Motion-Aware Token Pruning for Efficient Video Large Language Models.” Findings of ACL, 2026, pp. 6929–6941.
[SimiCache] Liu, Y., & Wu, F. “SimiCache: Rethinking KV Cache Compression via Token Similarity for MLLMs.” IEEE Transactions on Multimedia, 2026. DOI: 10.1109/TMM.2026.3716758
[Visual Token Dominance] “Efficient Inference for Large Vision-Language Models: Bottlenecks, Techniques, and Prospects.” Findings of ACL, 2026, pp. 21036–21066.
[CAPA] Jha, S., et al. “CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models.” Findings of ACL, 2026. https://aclanthology.org/2026.findings-acl.1371/
[ElasticMM] Liu, Z., et al. “ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism.” NeurIPS, 2025 (Oral). https://neurips.cc/virtual/2025/loc/san-diego/oral/117338
[IAA] Wang, B., Xie, C., Leng, D., & Yin, Y. “IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities.” AAAI, 2025. https://arxiv.org/abs/2408.15998
[HybridKV] Gu, X., et al. “HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference.” ACL Findings, 2026. https://aclanthology.org/people/xiaoling-gu/unverified/