多模態訓練：模型如何從「看見」變成「理解」？

上一篇文章我們理解了跨模態對齊：圖片和文字如何透過對比學習、投影層或交叉注意力，在同一個語義空間中建立對應關係。
但對齊只是讓兩種模態的表示變得可比，它並不等於模型真正學會了「看懂」圖片。
一個對齊良好的模型，可能仍然無法回答「這張圖裡發生了什麼」、「這個圖表說明了什麼趨勢」、「這兩個物體之間的空間關係是什麼」。
從「對齊」到「理解」，中間還隔著一整套訓練方法論。
這一篇，我們要回答一個工程問題：多模態模型到底是怎麼被訓練出來的？

Stage 1 Alignment → Stage 2 Instruction Tuning

一、Problem：為什麼不能直接端到端訓練？

在理想的世界裡，我們希望有一個大規模的圖文數據集，直接把視覺編碼器、投影層和 LLM 放在一起端到端訓練，讓模型自己學會一切。

但這條路在現實中走不通。

問題一：災難性遺忘

如果我們在圖文數據上微調整個 LLM，模型的語言能力可能急劇下降。LLaVA-1.5 的實驗表明，在 7B 規模的模型上，直接微調全部參數可能導致 MMLU 和 C-eval 等純文本基準上的顯著退化。LLaVA-1.5 模型學會了「看圖」，卻可能忘記「說話」。

問題二：訓練成本

端到端訓練需要同時更新視覺編碼器、投影層和 LLM 的全部參數。一個 7B 模型加上 300M 的視覺編碼器，可訓練參數超過 70 億。實際的顯存需求取決於精度、優化器、批次大小、序列長度、梯度檢查點以及 ZeRO 等分片策略——不能一概而論。LLaVA-1.5

問題三：數據不匹配

圖文對數據（如 CC3M、LAION）規模大但品質參差不齊，很多是簡單的「圖片-描述」對。而指令數據（如 LLaVA-Instruct）規模小但品質高，包含多輪對話和複雜推理。不同階段的數據有不同的主要訓練目標——圖文對數據用於對齊視覺和語言的表示，指令數據用於教會模型按指令生成回答。能否混合取決於訓練配方、採樣比例和損失設計，並非絕對不能混在一起。LLaVA-1.5

二、Failed Attempt：幾種走不通的路

嘗試一：凍結 LLM，只訓練視覺編碼器

這是最直覺的做法：既然 LLM 已經有了強大的語言能力，只需要讓視覺編碼器學會「說 LLM 的語言」就行了。

但實驗表明，這條路的效果很差。若缺乏適當的連接或訓練目標，視覺編碼器的輸出和 LLM 的文本嵌入空間可能難以有效銜接——維度不同、語義方向不同、數值範圍也不同。LLM 可能把視覺 token 當作「亂碼」忽略，導致視覺資訊失效。

嘗試二：凍結視覺編碼器，只訓練 LLM

反過來，凍結視覺編碼器，只微調 LLM，讓 LLM 學會「理解視覺 token」。

這比第一種嘗試好，但仍然不夠。LLaVA 的消融實驗表明，在特定架構中，僅訓練 LLM 而不訓練投影層，模型在視覺問答任務上的表現遠低於訓練投影層的版本。LLaVA 視覺編碼器輸出的特徵雖然包含豐富的視覺資訊，但這些資訊的格式和 LLM 期望的輸入格式不匹配，需要一個中間層來學習將視覺特徵轉換為 LLM 可利用的表示。

freeze-vs-unfreeze

嘗試三：一次性端到端訓練所有參數

直接解凍所有參數，在圖文數據上訓練。

在本文討論的訓練設定下，直接更新所有參數可能增加訓練成本，也可能加劇語言能力退化；實際結果取決於數據、學習率和訓練策略。LLaVA-1.5 不能僅憑一組模型或消融實驗，推斷所有端到端訓練都比兩階段訓練差。

三、Observation：兩階段訓練成為一種常見且有效的範式

經過多次嘗試，研究社區逐漸收斂到一種常見的訓練範式：多模態訓練分兩個階段進行。

第一階段：特徵對齊預訓練。 目標是讓視覺編碼器和 LLM 能夠「對話」。
第二階段：視覺指令微調。 目標是讓模型學會根據視覺內容和文字指令生成回答。

LLaVA 將「特徵對齊預訓練 → 視覺指令微調」整理成一套簡潔、易於復現的訓練流程，並在多個基準上展示了這套流程的有效性。LLaVA 這類分階段訓練並非由 LLaVA 首創——BLIP-2 等先前研究也採用了兩階段的視覺語言預訓練策略：先學習視覺語言表示，再學習視覺到語言的生成能力。BLIP-2 不過，LLaVA 展示了如何透過輕量投影層與視覺指令數據，將既有的視覺編碼器和大型語言模型組合成視覺助理。後來被 mPLUG-Owl2、Qwen-VL、InternVL 等模型以不同方式採用。

第一階段：特徵對齊預訓練

目標：讓投影層學會把視覺編碼器的輸出映射到 LLM 的語義空間。

數據：大規模、弱標註的圖文對數據（如 CC3M、LAION 子集、LLaVA-1.5-558K）。

訓練策略：凍結視覺編碼器和 LLM，只訓練投影層。

以 LLaVA-1.5-7B 為例，第一階段的配置如下 LLaVA-1.5：

參數	LLaVA-1.5-7B	LLaVA-1.5-13B
數據集	558K 圖文對	558K 圖文對
可訓練參數	投影層（~21M）	投影層（~31.5M）
凍結參數	視覺編碼器（~304M）、LLM（7B）	視覺編碼器（~304M）、LLM（13B）
學習率	1e-3	1e-3
批次大小	256	256
訓練時間（8×A100）	~3.5 小時	~5.5 小時

投影層的參數量取決於視覺特徵維度和 LLM 隱藏維度。以上是基於常見的 1024 維視覺特徵、4096 維（7B）/ 5120 維（13B）語言隱藏層的近似值。

這個階段的數據量大但品質要求不高。投影層只需要學會將視覺特徵轉換為 LLM 可利用的表示——不只是調整數值範圍，而是學習一個能讓兩種表示有效銜接的映射。

第二階段：視覺指令微調

目標：讓模型學會根據視覺內容進行問答、推理和對話。

數據：小規模、高品質的視覺指令數據（如 LLaVA-Instruct-150K、ShareGPT4V）。

訓練策略：凍結視覺編碼器，解凍投影層和 LLM。

LLaVA-1.5 的第二階段使用 665K 混合數據，主要包括 LLaVA-1.5：

LLaVA-Instruct-150K（由 GPT-4 生成的對話數據）
VQAv2、GQA（通用視覺問答）
OCR-VQA、TextCaps（OCR 和文本識別）
A-OKVQA（常識推理）

LLM 使用低學習率（2e-5）進行微調。在其他訓練配方中，適度混入純文字指令數據，可能有助於保留模型原有的語言能力。不過，這項策略是否有效，仍取決於數據比例、損失設計與微調方式，不能直接視為 LLaVA-1.5 標準配方的固定組成。

四、Root Cause：為什麼兩階段訓練有效？

原因一：分階段解決不同層次的問題

對齊和指令微調解決的是不同層次的問題。對齊解決的是「表示層」的問題——讓視覺特徵和文本特徵在同一個空間中可比。指令微調解決的是「行為層」的問題——讓模型學會根據視覺內容執行任務。

如果混在一起訓練，兩個目標可能互相干擾。模型在學會對齊之前就試圖學習任務，效果可能不理想。

原因二：凍結策略降低災難性遺忘的風險

在第二階段，視覺編碼器保持凍結，LLM 使用低學習率（2e-5）。這些措施共同作用，降低模型在學會「看圖」的同時忘記「說話」的風險。

LLaVA-1.5 的實驗表明，即使在指令微調階段解凍 LLM，只要使用足夠低的學習率，語言能力退化是可以控制的。LLaVA-1.5 但如果完全解凍視覺編碼器，可能增加表示偏移或訓練不穩定，導致更強的遺忘。

原因三：數據品質在第二階段可能比數量更重要

第一階段需要大量數據來覆蓋視覺表示的多樣性。第二階段需要高品質數據來教會模型正確的行為模式。

MM-LIMA 的研究使用資料選擇方法，在特定的 LLaVA-1.5 實驗中測試 2 到 200 筆精選樣本，並在多項評估中得到有競爭力的結果和更低的幻覺率。MM-LIMA 這是特定方法、模型與數據集上的發現，不是所有模型都只需要幾百筆數據。

2026 年的 XMAS 研究則從資料選擇角度切入，透過跨模態注意力軌跡辨識訓練樣本的冗餘性。研究報告指出，在特定實驗中，移除 LLaVA-665K 數據集的 50% 樣本，或 Vision-Flan 的 85% 樣本，仍能維持 LLaVA-1.5-7B 在 10 項下游基準上的表現，並使訓練速度提升約 1.2 倍。XMAS 這說明經過適當篩選後，減少冗餘資料有機會降低訓練成本；但不代表任意刪減資料都能維持效能。

instruction-data-selection

五、Solution：兩階段訓練的完整配方

第一階段的配方（LLaVA-1.5-7B 實例）

參數	值
數據集	LLaVA-1.5-558K（558K 圖文對）
可訓練參數	投影層（~21M）
凍結參數	視覺編碼器（~304M）、LLM（7B）
學習率	1e-3
批次大小	256
訓練時間	~3.5 小時（8×A100 40GB）
訓練目標	學習將視覺特徵轉換為 LLM 可利用的表示

第二階段的配方（LLaVA-1.5-7B 實例）

參數	值
數據集	LLaVA-1.5-665K（混合指令數據）
可訓練參數	投影層 + LLM（~7B）
凍結參數	視覺編碼器（~304M）
學習率	2e-5
批次大小	128
訓練時間	~10 小時（8×A100 40GB）
訓練目標	學會「按指令+按格式答題」

對於 LLaVA-1.5-13B，第二階段的訓練時間約為 20 小時（8×A100 80GB）。LLaVA-1.5

LLaVA-1.5 的第二階段使用 2e-5 的學習率，比第一階段低了 50 倍。這是為了降低 LLM 在微調過程中過度偏離預訓練狀態、導致語言能力退化的風險。LLaVA-1.5

完整的訓練流程圖

Stage 1: 特徵對齊預訓練
┌─────────────────────────────────────┐
│  CLIP ❄凍結                         │
│  MLP 訓練 (lr=1e-3)                 │
│  LLM ❄凍結                          │
│  數據: 558K 圖文對                   │
│  目標: 學習視覺到語言的表示映射       │
│  時間: ~3.5h (7B) / ~5.5h (13B)     │
└─────────────────────────────────────┘
              ↓
Stage 2: 視覺指令微調
┌─────────────────────────────────────┐
│  CLIP ❄凍結                         │
│  MLP 訓練                           │
│  LLM 訓練 (lr=2e-5)                 │
│  數據: 665K 混合                     │
│  ├ LLaVA-Instruct-150K (聊天)       │
│  ├ VQAv2/GQA (通用短答)             │
│  ├ OCR-VQA/TextCaps (看圖識字)      │
│  └ A-OKVQA (常識推理)               │
│  目標: 學會「按指令+按格式答題」      │
│  時間: ~10h (7B) / ~20h (13B)       │
└─────────────────────────────────────┘

六、進階話題：視覺編碼器該凍結還是微調？

兩階段訓練的核心策略是凍結視覺編碼器。但這個策略並非沒有爭議。

LLaVA-1.5 和 InstructBLIP 選擇凍結視覺編碼器 LLaVA-1.5 BLIP-2，而 InternVL 和 Qwen-VL 在不同版本和訓練階段中可能選擇聯合優化視覺編碼器和其他組件。這個分歧至今仍未完全解決——應依照具體版本與訓練階段描述，避免把整個系列視為單一策略。

CoVFT 的研究系統性地比較了凍結和微調視覺編碼器的效果，發現現有微調方法在多模態任務上並不能穩定地超越凍結基線。問題在於視覺編碼器是上下文無關的，在不同多模態上下文中會產生衝突的參數更新。CoVFT

另一個視角來自「一半微調」的發現：微調視覺編碼器的後 12 層可以提升效能，但全量微調並不會顯著優於一半微調。IAA 這說明視覺編碼器的微調存在收益遞減。

但在某些場景下，凍結視覺編碼器完全失敗。例如在視覺-語言-動作模型中，凍結視覺編碼器導致下游效能接近零，因為預訓練的視覺表示無法直接遷移到動作空間。

結論：凍結視覺編碼器是大多數通用多模態模型的安全選擇，但在需要精細視覺適應的特定領域（如機器人、醫學影像），可能需要有針對性地微調視覺編碼器的部分層。這是一項依任務、資料與架構決定的工程取捨，而不是唯一正解。

vision-encoder-finetuning

七、小結

從「看見」到「理解」，模型通常需要經過兩個階段：

第一階段：對齊。 用大量圖文對訓練投影層，讓視覺特徵和文本特徵在同一個空間中可比。凍結視覺編碼器和 LLM，只訓練投影層。學習率 1e-3，訓練時間約 3.5 到 5.5 小時（取決於模型規模）。
第二階段：指令微調。 用高品質指令數據訓練投影層和 LLM，讓模型學會根據視覺內容回答問題。凍結視覺編碼器，使用低學習率（2e-5）。訓練時間約 10 小時（7B）到 20 小時（13B）。

兩階段訓練的核心洞察是：對齊和指令微調解決的是不同層次的問題，分階段解決比混在一起效果更好。 而凍結視覺編碼器、低學習率這兩個策略，共同降低了模型在學會「看圖」的同時忘記「說話」的風險——它們並非每種架構都必須採用的固定組合。

LLaVA-1.5 的貢獻在於它證明了：沒有「黑科技」，只有四個已知有效的改動疊在一起——兩層 MLP、高分辨率、多樣數據、好基座模型——就在多項基準上取得了具有競爭力的結果。LLaVA-1.5

下一篇，我們會討論一個更實際的工程問題：視覺 token 為什麼這麼昂貴？如何壓縮與加速？ 訓練解決了模型能不能理解，推理解了模型能不能用得起。

下一篇預告

《多模態推理：Visual Token 為什麼這麼昂貴？》

一張圖片產生 576 到 729 個視覺 token，這些 token 讓上下文長度暴增、KV Cache 膨脹、延遲和成本遠高於純文字推理。我們會深入分析視覺 token 的成本結構，然後討論 Token Compression、Token Merging、Dynamic Resolution、KV Cache 優化等加速技術。

參考文獻

[LLaVA] Liu, H., et al. “Visual Instruction Tuning.” NeurIPS, 2023. https://arxiv.org/abs/2304.08485
[LLaVA-1.5] Liu, H., et al. “Improved Baselines with Visual Instruction Tuning.” CVPR, 2024. https://arxiv.org/abs/2310.03744
[BLIP-2] Li, J., et al. “BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models.” ICML, 2023. https://arxiv.org/abs/2301.12597
[IAA] Wang, B., Xie, C., Leng, D., & Yin, Y. “IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities.” AAAI, 2025, 39(20), 21035–21043.
[CoVFT] Zhou, N., Wang, H., Zheng, Y., & Huang, D. “CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models.” CVPR, 2026, pp. 24341-24351.
[MM-LIMA] Wei, L., Li, X., Jiang, Z., Huang, W., & Sun, L. “MM-LIMA: Less Is More for Alignment in Multi-Modal Datasets.” Artificial Intelligence for Engineering, 2025. DOI: 10.1049/aie2.70001
[TaskGalaxy] “TaskGalaxy: Scaling Multi-modal Instruction Fine-tuning with Tens of Thousands Vision Task Types.” ICLR, 2025.
[XMAS] Naharas, N., Nguyen, D., Bulut, N., Bateni, M., Mirrokni, V., & Mirzasoleiman, B. “Data Selection for Fine-tuning Vision Language Models via Cross-Modal Alignment Trajectories.” ICML, 2026.