跨模態對齊：圖片與文字如何理解彼此？

上一篇文章我們追蹤了從像素到視覺 token 的完整鏈路。
圖片被切成 patch，經過編碼器變成視覺特徵，再通過投影層變成 LLM 能處理的視覺 token。
但這裡有一個根本性的問題還沒有回答：

視覺 token 和文字 token 來自兩個完全不同的編碼器，它們憑什麼能在同一個模型裡「說同一種語言」？

一張「貓在沙發上的照片」產生的 576 個視覺 token，和「貓坐在沙發上」這 7 個文字 token，模型怎麼知道它們在說同一件事？

這一篇，我們要回答這個問題：跨模態對齊。
圖片和文字，如何建立共同的語義空間。

Image Encoder + Text Encoder → Shared Semantic Space

一、Question：兩種模態，憑什麼能對齊？

圖片是連續的像素。文字是離散的符號。
它們的編碼器沒有共享參數，沒有共享訓練目標，沒有共享詞彙表。

一個極端的對比：

視覺編碼器看到的是一張 224×224×3 的數值矩陣。
文字編碼器看到的是一串整數 ID。

如果沒有對齊，這兩個編碼器輸出的向量就像兩種完全不同的語言——即使它們在描述同一個事物，向量空間中的位置也毫無關係。

對齊要解決的問題就是：如何讓「狗的圖片」的向量和「狗的文字」的向量，在同一個空間中靠近？

這不僅是技術問題，也是一個表示學習的問題。兩種模態的表示空間（representation space）必須被同步（synchronize）——讓對應的輸入映射到相近的向量，讓不對應的輸入映射到遠離的向量。

但同步有一個根本性的挑戰：模態鴻溝（modality gap）。

即使在對齊之後，圖像嵌入和文字嵌入在空間中仍然會保持一定的距離，不會完全重疊。SigLIP 的理論分析表明，這種模態鴻溝是結構性存在的，它源於兩種模態數據分佈的內在差異。對齊的目標不是消除鴻溝，而是讓跨越鴻溝的對應關係變得可靠。

二、Hypothesis：對齊的本質是「共享的語義結構」

對齊不是讓圖像向量和文字向量變得一模一樣。
如果那樣，模態之間的差異資訊就丟失了。

對齊的本質是：讓兩種模態的表示共享同一個語義結構。

用數學語言來說：

如果 A₁ 和 A₂ 是兩張相似的圖片（比如兩隻不同的狗），它們的視覺向量應該接近。
如果 T₁ 和 T₂ 是兩段相似的文字（比如「一隻狗」和「一隻小狗」），它們的文字向量應該接近。
如果 A₁ 和 T₁ 描述的是同一個事物，它們的向量也應該接近。

對齊的目標是在兩種模態的表示之間建立一個保結構的映射：相似的事物在空間中靠近，不相似的事物在空間中遠離，而且這個「相似性」的定義在兩種模態之間是一致的。

這就像兩種語言之間的翻譯：不是讓兩種語言的單詞一一對應，而是讓兩種語言中語義相近的詞在翻譯後仍然保持語義相近。

三、Evidence：三種對齊策略

對齊不是只有一種方法。不同的架構選擇了不同的策略，每種策略對應不同的技術路線。

策略一：對比學習——用「正負樣本」拉近兩種模態

對比學習是對齊最早、也是最廣泛使用的方法。它的核心思想極其簡單：讓匹配的圖-文對靠近，讓不匹配的圖-文對遠離。

CLIP 是對比學習的代表作。它在一個批次中構造一個 N×N 的相似度矩陣：對角線上的 N 個元素是匹配的圖-文對（正樣本），其餘 N²-N 個元素是不匹配的圖-文對（負樣本）。訓練目標是最大化對角線上的相似度，同時最小化非對角線上的相似度。CLIP

CLIP 使用 InfoNCE 損失來實現這個目標：

\mathcal{L}_{\text{InfoNCE}} = -\frac{1}{N} \sum_{i=1}^{N} \log \frac{\exp(\text{sim}(I_i, T_i)/\tau)}{\sum_{j=1}^{N} \exp(\text{sim}(I_i, T_j)/\tau)}

其中 $\text{sim}$ 是餘弦相似度， $\tau$ 是溫度係數。溫度係數控制著分佈的「尖銳度」：溫度越低，模型越關注最相似的負樣本；溫度越高，所有負樣本的權重越均勻。溫度係數通常作為一個可學習的參數，在訓練過程中自動調整。

CLIP 的對比學習有兩個關鍵的設計約束：

批次必須足夠大。 因為負樣本來自同一個批次內的其他圖-文對，批次越大，負樣本越多，對比學習的效果越好。這也是為什麼 CLIP 的訓練需要大量的 GPU 記憶體——它要在一個批次中同時處理數千個圖-文對。
需要跨樣本歸一化。 InfoNCE 的 Softmax 歸一化需要看到批次中所有樣本的相似度，這意味著每個樣本的損失都依賴於批次中其他所有樣本。

SigLIP 對這個設計做出了關鍵改進：用 Sigmoid 損失取代 Softmax 對比損失。SigLIP

Sigmoid 損失將每個圖-文對視為獨立的二分類問題：這個對是匹配的（y=1）還是不匹配的（y=0）？不需要跨樣本歸一化，不需要看到整個批次。這帶來了兩個直接的好處：訓練效率更高，更容易擴展到更大的批次。

SigLIP 的理論分析進一步揭示了 Sigmoid 損失的一個深層性質：在可訓練的溫度和偏置參數下，損失函數可以被驅動到零，對應一類稱為 Constellations 的配置。這也解釋了為什麼 SigLIP 在檢索任務上表現優異，以及模態鴻溝為何在 SigLIP 中依然存在。Sigmoid Loss Theory

對比學習的優勢在於零樣本能力：訓練完成後，模型可以直接用於新的分類任務，不需要任何微調。只需要構建文字提示（如「一張[類別]的照片」），比較圖像嵌入與各類別文字嵌入的相似度即可。

但對比學習有一個根本限制：它只做對齊，不做融合。 它能讓圖像和文字在同一個空間中可比，但不能讓模型根據圖-文內容生成回答。你無法問 CLIP「這張圖裡發生了什麼？」並得到一段描述。

contrastive-alignment

策略二：投影對齊——用一個輕量級橋樑連接兩種模態

融合式架構選擇了另一條路：不改變兩個編碼器的表示，而是在它們之間加一個投影層，把視覺特徵映射到 LLM 的文字 token 空間。

LLaVA 是這種策略的代表。它使用一個簡單的兩層 MLP 作為投影層（projector）：LLaVA

projection = nn.Sequential(
    nn.Linear(vision_dim, llm_dim),
    nn.GELU(),
    nn.Linear(llm_dim, llm_dim),
)

視覺編碼器輸出的 D_v 維視覺特徵，經過這個 MLP 投影到 LLM 的 D_l 維空間。投影後的向量被拼接到文字 token 序列的前面，一起送入 LLM。

這個策略的關鍵洞察是：視覺編碼器已經學到了豐富的視覺特徵，LLM 已經學到了強大的語言能力，中間只需要一個輕量級的橋樑來「翻譯」兩種表示。

LLaVA 的投影層可訓練參數不到 200 萬，但效果出乎意料地好。2026 年 WACV 的一項研究系統分析了 LLaVA、BLIP-2 和 Kosmos-2 的投影空間，發現它們處於不同的工作模式：Projection Space

BLIP-2：嚴格的降秩壓縮，強對齊但接近零敏感度。
LLaVA：靈活的高維映射，高響應性。
Kosmos-2：介於兩者之間。

這些模式與下游行為相關：降低或過度的敏感度都會預測不可靠的 grounding。

策略三：交叉注意力——在 LLM 內部直接融合

第三種策略更進一步：不把視覺 token 拼接到文字 token 序列的前面，而是在 LLM 的每一層中插入交叉注意力層，讓文字 token 直接「看到」視覺 token。

Flamingo 是這種策略的代表。它在凍結的 LLM 中插入門控交叉注意力層（Gated Cross-Attention），讓每個文字 token 通過 cross-attention 關注視覺 token。Flamingo

Flamingo 的交叉注意力有幾個關鍵設計：

Perceiver Resampler：將可變數量的視覺特徵壓縮成固定數量的 token。
門控機制：用 tanh 門控控制視覺信息流入 LLM 的強度，訓練初期門控接近零，讓模型先適應，再逐漸增加視覺信息的權重。
交錯注意力遮罩：在圖文交錯的序列中，每個文字 token 只關注最近的前一個圖像的視覺 token。

Flamingo 的優勢在於它能處理任意交錯的文字和圖像序列，而且由於 LLM 是凍結的，不會出現災難性遺忘。

three-alignment-strategies

四、Result：對齊之後發生了什麼？

三種策略都實現了對齊，但它們的對齊品質和對齊後的能力不同。

對齊的幾何性質

2026 年 WACV 的研究用幾何探測框架分析了 LLaVA、BLIP-2、Kosmos-2 的投影空間，發現對齊的品質可以用三個維度來描述：Projection Space

維度	含義	BLIP-2	LLaVA
潛在 token 對齊	視覺 token 是否與文字 token 對齊	強	靈活
內在維度	投影空間的維度	低秩	高維
擾動敏感度	視覺 token 變化對輸出的影響	接近零	高

BLIP-2 的強對齊但零敏感度意味著：視覺 token 雖然與文字空間對齊得很好，但模型在生成時幾乎不依賴它們。LLaVA 的高敏感度意味著：視覺 token 的變化會顯著影響生成結果，但過高或過低的敏感度都與不可靠的 grounding 相關。

對齊失敗的模式

對齊不是總能成功。常見的失敗模式包括：

模態鴻溝過大：即使經過訓練，圖像和文字的嵌入在空間中仍然保持較大距離。SigLIP 的理論分析表明，這種鴻溝是結構性的，源於兩種模態數據分佈的內在差異。
對齊過強：視覺 token 被壓縮到過低的秩，丟失了空間細節。BLIP-2 的「強對齊但零敏感度」就是這種模式——模型能對齊，但無法利用視覺信息進行精細推理。
對齊過弱：視覺 token 與文字空間沒有充分對齊，LLM 無法理解視覺輸入。這在早期融合式模型中常見，通常表現為模型忽略圖像、只根據文字生成回答。

04-alignment-geometry-failure

五、Interpretation：對齊是多模態理解的前提，但不是終點

跨模態對齊解決了「圖片和文字如何在同一個空間中可比」的問題。它是多模態理解的前提——沒有對齊，模型無法建立視覺輸入和語言輸出之間的聯繫。

但對齊本身不等於理解。對齊只是讓兩種模態的表示在表示層面上可比。真正的理解需要模型在推理層面上利用這種對齊——根據視覺內容進行推理、回答問題、生成描述。

這解釋了為什麼融合式架構（LLaVA、Flamingo）比純對比式架構（CLIP）能完成更複雜的任務。對比式架構只做了對齊，融合式架構在對齊的基礎上還做了跨模態推理。

對齊的品質直接影響下游任務的表現。2026 年的研究表明，投影空間的幾何性質可以預測 VQA 的正確性和幻覺的嚴重程度。這意味著：對齊不僅是一個訓練目標，也是一個診斷工具——通過分析對齊空間的幾何性質，我們可以預測模型在實際任務中的表現。

從 CLIP 的對比學習，到 LLaVA 的投影層，再到 Flamingo 的交叉注意力，對齊的方法在演進，但對齊的目標始終一致：讓不同的模態在同一個空間中說同一種語言。

下一篇，我們會討論一個更實際的問題：模型如何從「看見」變成「理解」？對齊解決了表示問題，但訓練解決了能力問題。

下一篇預告

《多模態訓練：模型如何從「看見」變成「理解」？》

我們會討論多模態訓練的工程實踐：為什麼凍結視覺編碼器反而效果更好？兩階段訓練（對齊預訓練 + 指令微調）為什麼成為標準？數據品質和資料數量哪個更重要？

參考文獻

[CLIP] Radford, A., et al. “Learning Transferable Visual Models From Natural Language Supervision.” ICML, 2021. https://arxiv.org/abs/2103.00020
[SigLIP] Zhai, X., et al. “Sigmoid Loss for Language Image Pre-Training.” ICCV, 2023. https://arxiv.org/abs/2303.15343
[SigLIP 2] Tschannen, M., et al. “SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features.” 2025. https://arxiv.org/abs/2502.14786
[LLaVA] Liu, H., et al. “Visual Instruction Tuning.” NeurIPS, 2023. https://arxiv.org/abs/2304.08485
[Flamingo] Alayrac, J.-B., et al. “Flamingo: a Visual Language Model for Few-Shot Learning.” NeurIPS, 2022. https://arxiv.org/abs/2204.14198
[BLIP-2] Li, J., et al. “BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models.” ICML, 2023. https://arxiv.org/abs/2301.12597
[Projection Space] Jeong, S., Song, Y., & Kim, H. “Understanding the Visual Projection Space of Multimodal LLMs.” WACV, 2026, pp. 6049-6058.
[Sigmoid Loss Theory] Bangachev, K., et al. “Global Minimizers of Sigmoid Contrastive Loss.” NeurIPS, 2025.
[Temperature Scheduling] Sheludzko, S., et al. “MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data.” WACV, 2026.
[BLIP-2 兩級漸進對齊] “Design of Cross-Modal Alignment Algorithm in Multimodal Generative AI.” Procedia Computer Science, 2026.