Series
多模態 AI 核心原理
- 01
什麼是多模態 AI？從單模態 LLM 到跨模態理解
從只能處理文字的 LLM，到能看、能聽、能讀的多模態 AI，理解編碼、對齊、融合與生成的核心流程。
→ - 02
多模態模型架構：對比式、融合式與統一式的取捨
從 CLIP 的雙塔對比學習，到 LLaVA 的極簡投影融合，再到 GPT-4o 的端到端統一架構，理解三種多模態架構的設計邏輯與工程取捨。
→ - 03
視覺編碼器：ViT、SigLIP 與 DINOv2 的選擇
從 ViT 的 patch 化革命，到 CLIP/SigLIP 的語言對齊，再到 DINOv2 的自監督細粒度理解，理解視覺編碼器的設計取捨與選擇框架。
→ - 04
跨模態對齊：圖片與文字如何理解彼此？
從對比學習、投影層到交叉注意力，理解視覺 token 與文字 token 如何在同一語義空間中對齊，以及對齊的幾何性質與失敗模式。
→ - 05
多模態訓練：模型如何從「看見」變成「理解」？
從兩階段訓練範式到凍結策略，理解多模態模型如何透過特徵對齊預訓練與視覺指令微調，從「能對齊」進化到「能理解」。
→ - 06
多模態推理：Visual Token 為什麼這麼昂貴？
從視覺 token 的成本結構到壓縮與加速技術，理解多模態推理的系統性效率瓶頸與六層優化策略。
→ - 07
多模態 RAG：如何檢索圖片、PDF、表格與影片？
從跨模態檢索、視覺文檔表示到證據融合，理解多模態 RAG 的架構設計、取捨與實務建議。
→ - 08
多模態 Agent：AI 如何從理解資訊進一步採取行動？
從感知層、解釋層、規劃層到執行層，理解多模態 Agent 如何看螢幕、操作介面，以及跨平台行動的設計取捨與安全挑戰。
→ - 09
多模態評估：模型真的理解了，還是在猜？
從感知、落地、推理、幻覺、時序理解到組合理解，拆解多模態評估的六個維度與基準全景，理解為什麼「理解」本身不是單一維度的問題。
→ - 10
從多模態到具身智能：AI 如何從理解世界走向與世界互動？
多模態 AI 系列最終篇：從影片理解、即時多模態、空間智能、世界模型到 VLA 與具身智能，理解 AI 如何從理解世界走向與世界互動。
→