AI from Scratch · Phase 12 | 多模态 AI 深度指南
阶段概览
Phase 12 是整个路线图中规模最大的阶段之一——25节课、约65小时，全面覆盖多模态 AI 的前沿进展。如果说 Phase 10 教你构建”会说话的大脑”，那 Phase 12 是教这个大脑”看世界”、“听声音”、“看视频”。
多模态 AI 正在经历爆发式发展。2025年的趋势已经非常明确：统一架构（Unified Architecture） 正在取代分离的视觉编码器+语言解码器方案。从 CLIP 的双编码器对比学习，到 LLaVA 的视觉指令微调，再到 Transfusion 和 Show-o 的”任何模态到任何模态”统一生成——这条技术演进脉络代表了 AI 走向通用智能的关键路径。
这个阶段适合那些想要在 AI 最前沿领域深耕的学习者。内容涉及大量论文阅读和代码实现，挑战性很高，但回报也极大。
核心概念解析
👁️ Vision Transformer 与 Patch-Token：图像即语言
ViT 的核心洞察是：图像可以被当作”视觉句子”来处理。一张图片被切割成固定大小的 Patch（通常 16×16 像素），每个 Patch 经过线性投影变成一个 Token——就像文字 Token 一样。然后这些视觉 Token 送入标准 Transformer 处理。这个看似简单的映射，却是整个多模态 AI 的基石：它意味着所有为语言开发的 Transformer 技术都可以迁移到视觉领域。
🔗 CLIP：对比学习的里程碑
CLIP（Contrastive Language-Image Pre-training）同时训练一个图像编码器和一个文本编码器，用对比损失（InfoNCE）拉近匹配的图文对、推开不匹配的对。结果是模型获得了”零样本”分类能力——给一段文字描述，它就能找到对应的图片，无需任何标注训练。CLIP 的意义远超分类本身：它的图像编码器成为了几乎所有后续 VLM（视觉语言模型）的视觉骨干。
🖼️ LLaVA 家族：视觉指令微调的时代
LLaVA 开创了”用指令数据微调多模态模型”的范式。其架构极为简洁：CLIP 视觉编码器 + 线性投影层 + LLM。训练分两步：先用图文对对齐视觉和语言空间，再用 GPT-4 生成的视觉指令数据做指令微调。LLaVA-OneVision 进一步扩展到图像、多图、视频三种场景。Any-Resolution（Patch-n-Pack） 技术解决了固定分辨率的限制——动态调整 Patch 数量以适应不同分辨率和宽高比的图片。
🔄 统一多模态模型：Transfusion、Show-o、Janus-Pro
2024-2025年的趋势是”真正的统一架构”。Transfusion 用单一的 Transformer 同时做文本的自回归生成和图像的扩散生成，共享所有参数。Show-o 是一个全能模型，能在理解（图片描述）和生成（文生图）之间无缝切换。Janus-Pro（DeepSeek）将视觉编码和解耦为”理解编码器”和”生成编码器”，共享解码器。Emu3 更激进——把图像也离散化为 Token，用纯 next-token prediction 统一所有模态。
🎙️ 全能模型（Omni Models）与具身智能
Omni Models（Thinker-Talker 架构） 将文本、图像、音频、视频统一在一个模型中，实时进行多模态推理和对话。Embodied VLAs（Vision-Language-Action models） 则更进一步——不仅理解世界，还能输出动作指令控制机器人。这代表了从”屏幕里的 AI”到”物理世界的 AI”的跨越。Document Understanding 和 ColPali（文档 RAG） 则聚焦于企业场景中最常见的需求：理解复杂的文档、表格、图表。
完整课程列表
| 序号 | 课程名 | 预计时长 |
|---|---|---|
| 1 | Vision Transformers: Patch-Token | 90 min |
| 2 | CLIP: Contrastive Learning | 80 min |
| 3 | BLIP-2: Q-Former | 75 min |
| 4 | Flamingo: Gated Cross-Attention | 70 min |
| 5 | LLaVA: Visual Instruction Tuning | 90 min |
| 6 | Any-Resolution: Patch-n-Pack | 60 min |
| 7 | Open-Weight VLM Recipes | 75 min |
| 8 | LLaVA-OneVision | 80 min |
| 9 | Qwen-VL Family | 70 min |
| 10 | InternVL3 | 65 min |
| 11 | Chameleon: Early-Fusion | 60 min |
| 12 | Emu3: Next-Token for All Modalities | 75 min |
| 13 | Transfusion: Predict & Diffuse | 80 min |
| 14 | Show-o: Unified Understanding & Generation | 70 min |
| 15 | Janus-Pro: Decoupled Encoding | 65 min |
| 16 | MIO: Any-to-Any | 60 min |
| 17 | Video-Language: Temporal Modeling | 90 min |
| 18 | Long-Video: Million-Token Context | 85 min |
| 19 | Audio-Language Models | 75 min |
| 20 | Omni Models: Thinker-Talker | 80 min |
| 21 | Embodied VLAs | 90 min |
| 22 | Document Understanding | 70 min |
| 23 | ColPali: Document RAG | 65 min |
| 24 | Multimodal RAG | 80 min |
| 25 | Multimodal Agents: Computer-Use | 90 min |
前置依赖
- 扎实的 Transformer 基础（Phase 8-10）
- 理解 LLM 预训练和对齐流程
- 熟悉 PyTorch 和计算机视觉基础（CNN、图像处理）
- 论文阅读能力：这个阶段涉及大量前沿论文
后续方向
- Phase 13（Tools & Protocols）：多模态模型也需要工具调用能力
- Phase 14（Agent Engineering）：多模态 Agent 是当前最热方向之一
- Phase 19（Capstone）：多模态系列项目（Vision Encoder → ViT → Cross-Attention → 多模态预训练）
学习建议
- 先吃透 ViT 和 CLIP：它们是整个多模态领域的两块基石，后续所有内容都建立在其上
- 按时间线学习：CLIP（2021）→ BLIP-2（2023）→ LLaVA（2024）→ Transfusion/Show-o（2025），理解演进逻辑
- 动手跑开源模型：LLaVA、Qwen-VL 都有开源权重，在本地或 Colab 上跑推理
- 不要试图一次全学会：65小时的内容量很大，建议分两轮——第一轮快速过一遍建立全景认知，第二轮深入实现 2-3 个关键模型
- 重点关注统一架构：Transfusion 和 Emu3 代表了未来方向，值得深入研究
- 关注效率优化：多模态模型计算量大，学习过程中要注意推理优化技术