多模態模型架構：對比式、融合式與統一式的取捨
從 CLIP 的雙塔對比學習，到 LLaVA 的極簡投影融合，再到 GPT-4o 的端到端統一架構，理解三種多模態架構的設計邏輯與工程取捨。
多模態模型架構：對比式、融合式與統一式的取捨
在上一篇中，我們探討了多模態 AI 的核心運作流程：編碼、對齊、融合與生成。
然而，面對不同的應用場景與運算資源，這套流程有著截然不同的實作方式。目前主流的 多模態模型架構 主要分為三大流派：
- 對比式架構（Contrastive）： 如同 CLIP，專注於圖文特徵的「對齊」，以強大的檢索與分類能力見長，但不做直接的文字生成。
- 融合式架構（Fusion-based）： 將影像與文字的 Token 拼接後送入 Transformer，透過跨模態融合來理解與輸出內容。
- 統一式架構（Unified）： 從預訓練的第一天起，就讓模型在同一個參數空間內原生處理所有模態，實現真正的全能對話。
這三種架構並非「後浪推前浪」的線性演進，而是在效能、成本與任務需求下的設計取捨（Trade-offs）。
在這一篇中，我們將深入拆解這三大架構的設計邏輯、訓練方式、各自的優缺點，以及在實際開發中該如何評估與選擇。MLLM 架構演進
一、三種架構的本質差異
在深入每一種架構之前，先理解它們的本質差異。MLLM 架構演進
| 面向 | 對比式 | 融合式 | 統一式 |
|---|---|---|---|
| 編碼方式 | 獨立的圖像與文字編碼器 | 獨立的模態編碼器 + 融合模組 | 所有模態用同一套編碼 |
| 對齊方式 | 對比學習（特徵層級） | 投影 + 注意力（token 層級） | 端到端學習（原生對齊） |
| 生成能力 | 無（僅檢索/分類） | 有（文字生成） | 有（多模態生成） |
| 訓練資料需求 | 圖文對 | 圖文對 + 指令資料 | 大規模交錯多模態資料 |
| 參數量 | 中等（雙編碼器） | 大（編碼器 + LLM + 連接器） | 最大（單一巨型模型） |
對比式解決的是「圖像和文字如何在同一個空間中對齊」的問題。
融合式解決的是「對齊之後，如何讓模型根據圖文內容生成回答」的問題。
統一式解決的是「能否用一個模型同時完成理解與生成」的問題。
這三個問題是多模態系統的不同層次設計目標，但實際模型往往同時採用多種方法。
二、對比式架構：CLIP 與 SigLIP
核心設計
對比式架構的核心思想是：分別編碼圖像和文字，用對比學習讓匹配的圖文對在向量空間中靠近。
圖像 → 視覺編碼器 → 圖像向量 ─┐
├→ 對比學習 → 同一空間
文字 → 文字編碼器 → 文字向量 ─┘CLIP 的設計
CLIP 由 OpenAI 於 2021 年提出，使用約 4 億個圖文對進行訓練。它的核心創新在於用對比學習目標取代傳統的監督學習，讓模型能在無需任務特定微調的情況下泛化到廣泛的下游應用。CLIP
CLIP 的訓練目標是對稱的交叉熵損失。對於一個包含 N 個圖文對的批次，系統計算所有 N×N 組合的餘弦相似度，最大化 N 個正確配對的相似度，同時最小化 N²-N 個不正確配對的相似度。
Loss = (Loss_{image→text} + Loss_{text→image}) / 2
Loss_{image→text} = -1/N Σ log( exp(sim(I_i, T_i)/τ) / Σ_j exp(sim(I_i, T_j)/τ) )訓練完成後，CLIP 具備強大的零樣本能力：透過構建文字提示（如「一張[類別]的照片」），比較輸入圖像嵌入與各類別文字嵌入，就能進行圖像分類，無需任何特定任務的訓練數據。
SigLIP 的改進
SigLIP 由 Google 提出，用 Sigmoid 損失取代 CLIP 中的 Softmax 對比損失。SigLIP
CLIP 的 Softmax 需要跨樣本歸一化——每個圖像的損失取決於批次中所有其他圖像。這導致批次大小直接影響訓練效果，且需要大量的負樣本才能有效訓練。
SigLIP 的 Sigmoid 損失將每個圖文對視為獨立的二分類問題：
Loss = -1/N Σ [ y_i log σ(sim(I_i, T_i)/τ) + (1-y_i) log(1-σ(sim(I_i, T_i)/τ)) ]其中 y_i = 1 表示匹配對，y_i = 0 表示不匹配對。這意味著 SigLIP 不需要跨樣本歸一化，訓練效率更高，且更容易擴展到更大的批次。
SigLIP 的這種設計將傳統 CLIP 依賴的全域對比損失，改為更簡單獨立的 Sigmoid 損失，不僅省去了複雜的全域計算，也讓模型在訓練時更具彈性與效率。
對比式架構的能力與限制
能力：
- 零樣本分類：無需訓練即可分類新類別
- 圖文檢索：用文字搜圖片，或用圖片搜文字
- 特徵提取：作為其他模型（如 LLaVA）的視覺編碼器
限制：
- 無法生成文字。你無法問 CLIP「這張圖片裡發生了什麼？」並得到一段描述。
- 只能做匹配判斷，不能做開放式推理。
- 對比學習學到的是全局對齊，缺乏 token 層級的細粒度對應。
這正是為什麼需要融合式架構。
三、融合式架構：LLaVA、BLIP-2 與 Flamingo
核心設計
融合式架構的核心思想是：用一個輕量級的連接器，把視覺編碼器的輸出投影到 LLM 的 token 空間，讓 LLM 能理解圖像。
圖像 → 視覺編碼器 → 視覺 token ─┐
├→ 連接器 → 送入 LLM → 生成文字
文字 → 文字分詞器 → 文字 token ─┘關鍵在於連接器的設計。不同的融合式架構，差別就在連接器的複雜度與能力。MLLM 架構演進
三種連接器
研究將融合式架構的連接器分為三類：
1. 投影式（Projection-based）
用輕量級的 MLP 把視覺嵌入投影到 LLM 的 token 維度：
Z'_m = φ(W_p Z_m + b_p)其中 Z_m 是視覺嵌入，W_p 和 b_p 是可訓練的投影參數，φ 是激活函數（通常是 GELU）。
LLaVA 是這種設計的代表。它使用一個 1-2 層的 MLP，將凍結的 CLIP ViT 嵌入投影到 LLM 空間，可訓練參數少於 2M。LLaVA-1.5 的實驗表明，簡單的 MLP 連接器在效率和效能上出乎意料地強大——用 CLIP-ViT-L-336px 加上 MLP 投影，配合學術任務導向的 VQA 資料，就能在 11 個基準測試上達到當時的最佳表現。LLaVA LLaVA-1.5
2. 查詢式（Query-based）
引入一個中間模組，用可學習的查詢 token 從視覺編碼器中提取資訊：
Q' = softmax(Q W^Q (Z_m W^K)^T / √d) Z_m W^V其中 Q 是 K 個可學習的查詢 token，K 遠小於 N（視覺 token 數量），因此輸出被壓縮到 K 個 token。
BLIP-2 是這種設計的代表。它的 Q-Former 是一個輕量級的 Querying Transformer，作為凍結的圖像編碼器和凍結的 LLM 之間的橋樑。Q-Former 的訓練分為兩個階段：第一階段用圖文匹配、圖像對比學習、圖像條件文字生成三個任務進行預訓練；第二階段將 Q-Former 的輸出連接到 LLM。BLIP-2
BLIP-2 透過 Q-Former 將視覺資訊壓縮後再交給 LLM，在降低訓練成本的同時取得很強的零樣本視覺語言能力
3. 融合式（Fusion-based）
在共享的 Transformer 中直接進行跨模態建模，使用 cross-attention 讓兩種模態深度互動。
Flamingo 是這種設計的代表。它在凍結的 LLM 中插入 Gated Cross-Attention 層，讓文字 token 能夠關注到視覺 token。Flamingo 的關鍵設計包括：Flamingo
- Perceiver Resampler：將可變數量的視覺特徵壓縮成固定數量的 token。
- Gated Cross-Attention：每個文字 token 透過 cross-attention 關注視覺 token，並用 tanh 閘控控制資訊流入的強度。
- 交錯注意力遮罩：在圖文交錯的序列中，每個文字 token 只關注最近的前一個圖像的視覺 token。
Flamingo 的優勢在於它能處理任意交錯的文字和圖像序列，並在少量標註樣本下快速適應新任務。
融合式架構的能力與限制
能力：
- 視覺問答：根據圖片回答問題
- 圖像描述：生成圖片的文字描述
- 視覺推理：根據圖片進行多步推理
- 指令跟隨：根據文字指令操作視覺內容
限制：
- 只能生成文字。你無法要求 LLaVA 生成一張圖片。
- 視覺編碼器通常是凍結的，限制了視覺理解的深度。
- 連接器是資訊瓶頸——所有視覺資訊都必須通過這個輕量級模組壓縮，可能損失細節。
四、統一式架構：GPT-4o 與原生多模態
核心設計
統一式架構的核心思想是：不區分模態特定的編碼器，從訓練的第一天起就用同一個 Transformer 處理所有模態。GPT-4o
文字 token ─┐
圖像 token ─┼→ 同一個 Transformer → 統一表示 → 生成（文字/圖像/音訊）
音訊 token ─┘統一式架構可以進一步分為兩類：
- 混合式統一（Hybrid-Unified）：保留模態特定的編碼器，但用統一的 Transformer 進行融合與生成。輸出可以是多種模態。
- 純原生端到端（Pure End-to-End Native）：從輸入到輸出都用同一個模型處理，不區分模態特定的編碼器。
GPT-4o 的設計
GPT-4o（「o」代表 omni）是 OpenAI 於 2024 年 5 月發布的旗艦模型。它是一個單一的、端到端訓練的模型，同時處理文字、視覺和音訊，意味著所有輸入和輸出都由同一個神經網路處理。GPT-4o
在 GPT-4o 之前，ChatGPT 的語音模式是一個三模型的流水線：一個模型將音訊轉錄為文字，GPT-3.5 或 GPT-4 接收文字並生成文字，第三個模型將文字轉回音訊。這個過程意味著主要的智慧來源 GPT-4 會損失大量資訊——它無法直接觀察語調、多個說話者或背景噪音，也無法輸出笑聲、歌唱或表達情感。
GPT-4o 用一個模型取代了這三個模型。它接受文字、音訊、圖像和影片的任意組合輸入，並生成文字、音訊和圖像的任意組合輸出。它可以回應音訊輸入的時間最短為 232 毫秒，平均為 320 毫秒，接近人類對話中的反應時間。
GPT-4o 的統一式架構帶來了三個關鍵優勢：
- 資訊不損失：音訊的語調、情感、背景音直接由同一個模型處理，不需要經過文字轉錄的瓶頸。
- 跨模態理解：模型能同時理解圖像中的視覺資訊和音訊中的語氣，進行更豐富的推理。
- 端到端最佳化：所有模態的表示在同一個空間中學習，對齊品質更高。
統一式架構的能力與限制
能力：
- 多模態理解：同時理解文字、圖像、音訊、影片
- 多模態生成：生成文字、圖像、音訊
- 即時互動：低延遲的語音對話
- 跨模態推理：結合視覺和聽覺資訊進行推理
限制：
- 資料需求極高：需要大規模的交錯多模態資料。取得這種資料比取得圖文對困難得多。
- 訓練成本極高：從頭訓練一個統一模型需要巨大的算力。
- 模態不平衡：不同模態的資料量差異巨大（文字資料遠多於影片資料），模型可能偏向某些模態。
- 難以除錯：統一的架構讓問題定位變得困難——如果模型生成錯誤，你很難判斷是視覺理解、文字理解還是跨模態融合出了問題。
五、三種架構的完整對比
能力對比
| 能力 | 對比式 | 融合式 | 統一式 |
|---|---|---|---|
| 零樣本分類 | ✅ 強 | ⚠️ 有限 | ⚠️ 有限 |
| 圖文檢索 | ✅ 強 | ⚠️ 有限 | ⚠️ 有限 |
| 視覺問答 | ❌ 不支援 | ✅ 支援 | ✅ 支援 |
| 圖像描述 | ❌ 不支援 | ✅ 支援 | ✅ 支援 |
| 文字生成 | ❌ 不支援 | ✅ 支援 | ✅ 支援 |
| 圖像生成 | ❌ 不支援 | ❌ 不支援 | ⚠️ 視具體模型與 decoder 設計而定 |
| 音訊理解 | ❌ 不支援 | ❌ 不支援 | ✅ 支援 |
| 即時互動 | ❌ 不支援 | ⚠️ 有限 | ✅ 強 |
資源對比
| 面向 | 對比式 | 融合式 | 統一式 |
|---|---|---|---|
| 訓練資料量 | 中等（圖文對） | 大（圖文對 + 指令） | 極大（交錯多模態） |
| 訓練成本 | 低 | 中 | 高 |
| 推理成本 | 低 | 中 | 高 |
| 可訓練參數量 | 中（雙編碼器） | 大（連接器 + LLM） | 極大（全部） |
| 部署複雜度 | 低 | 中 | 高 |
代表模型對比
| 模型 | 架構 | 發布時間 | 核心貢獻 |
|---|---|---|---|
| CLIP | 對比式 | 2021 | 對比學習，零樣本遷移 |
| SigLIP | 對比式 | 2023 | Sigmoid 損失，訓練效率 |
| LLaVA | 融合式（投影） | 2023 | 視覺指令微調，MLP 連接器 |
| BLIP-2 | 融合式（查詢） | 2023 | Q-Former，輕量級預訓練 |
| Flamingo | 融合式（融合） | 2022 | Gated Cross-Attention，少樣本學習 |
| GPT-4o | 統一式 | 2024 | 端到端全模態，即時互動 |
六、如何選擇：決策框架
選擇架構不是「哪個最好」，而是「哪個最適合你的約束條件」。
維度一：你需要什麼能力？
- 只需要圖文檢索或分類 → 對比式
- 需要視覺問答或圖像描述 → 融合式
- 需要同時理解和生成多種模態 → 統一式
維度二：你有多少資源？
- 資源有限（單卡、小團隊） → 對比式或輕量級融合式（投影式）
- 資源中等（多卡、有標註資料） → 融合式
- 資源充足（大規模算力、多模態資料） → 統一式
維度三：你的資料是什麼？
- 只有圖文對 → 對比式或投影式融合
- 有圖文對 + 指令資料 → 融合式
- 有交錯多模態資料 → 統一式
決策樹
你需要生成文字嗎？
├── 不需要 → 對比式（CLIP/SigLIP）
└── 需要 → 需要生成圖像或音訊嗎？
├── 不需要 → 融合式
│ ├── 資源有限 → 投影式（LLaVA）
│ ├── 需要壓縮視覺 token → 查詢式（BLIP-2）
│ └── 需要處理交錯序列 → 融合式（Flamingo）
└── 需要 → 統一式（GPT-4o 風格）實務建議
對於大多數團隊，融合式架構（特別是投影式）是最務實的選擇：
- 複用預訓練模型：視覺編碼器用 CLIP 或 SigLIP，LLM 用現成的開源模型。
- 訓練成本低：只需要訓練連接器（LLaVA 的連接器可訓練參數不到 2M）。
- 效果足夠好：LLaVA-1.5 用簡單的 MLP 連接器就能在多個基準上達到最佳表現。
- 易於迭代：可以獨立升級視覺編碼器或 LLM。
對於需要多模態生成的場景，統一式架構是必要的。但要注意：
- 訓練成本極高，不建議從頭訓練。
- 優先使用現成的統一模型（如 GPT-4o）或在其基礎上微調。
- 如果只需要生成圖像，可以考慮擴散模型 + 融合式架構的組合，而不是完整的統一式。
七、小結
多模態模型的三種架構——對比式、融合式、統一式——不是線性演進的替代關係，而是針對不同問題的不同解法。
- 對比式解決的是對齊問題：如何讓圖像和文字在同一個空間中可比。CLIP SigLIP
- 融合式解決的是理解問題：如何讓模型根據圖文內容生成回答。LLaVA BLIP-2 Flamingo
- 統一式解決的是生成問題：如何用一個模型同時完成理解與生成。GPT-4o
它們之間有技術上的傳承——融合式架構通常使用對比式訓練的視覺編碼器，統一式架構借鑒了融合式架構的連接器設計。但它們的設計目標和約束條件完全不同。
理解了這些取捨，你就能根據自己的資源、資料和需求，做出合理的架構選擇。
下一篇預告
《視覺編碼器：ViT、SigLIP 與 DINOv2 的選擇》
我們會深入視覺編碼器的原理、不同模型的設計取捨、它們在融合式架構中扮演的角色，以及如何根據任務選擇合適的視覺編碼器。
參考文獻
- [CLIP] Radford, A., et al. “Learning Transferable Visual Models From Natural Language Supervision.” ICML, 2021. https://arxiv.org/abs/2103.00020
- [SigLIP] Zhai, X., et al. “Sigmoid Loss for Language Image Pre-Training.” ICCV, 2023. https://arxiv.org/abs/2303.15343
- [LLaVA] Liu, H., et al. “Visual Instruction Tuning.” NeurIPS, 2023. https://arxiv.org/abs/2304.08485
- [LLaVA-1.5] Liu, H., et al. “Improved Baselines with Visual Instruction Tuning.” CVPR, 2024. https://arxiv.org/abs/2310.03744
- [BLIP-2] Li, J., et al. “BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models.” ICML, 2023. https://arxiv.org/abs/2301.12597
- [Flamingo] Alayrac, J.-B., et al. “Flamingo: a Visual Language Model for Few-Shot Learning.” NeurIPS, 2022. https://arxiv.org/abs/2204.14198
- [GPT-4o] OpenAI. “GPT-4o System Card.” 2024. https://openai.com/index/gpt-4o-system-card/
- [MLLM 架構演進] Yin, S., Fu, C., Zhao, S., et al. “A Survey on Multimodal Large Language Models.” National Science Review, 2024. https://arxiv.org/abs/2306.13549