🔀 Phase 07：Transformer 深度剖析

16 节课 · ~14 小时 · 理解 GPT/Claude/LLaMA 背后的统一架构

---

为什么这个阶段重要？

Transformer 是现代 AI 的统一基础设施。GPT、Claude、LLaMA、DeepSeek 用的是它；Whisper、Stable Diffusion 的核心组件也是它；甚至 Vision Transformer、多模态模型都建立在它之上。

理解 Transformer 不是可选项——如果你想认真做 AI，这是必修课。本阶段会带你从零手写自注意力，一路到构建完整的 Transformer。

---

🔑 核心概念

1. 自注意力（Self-Attention）的数学本质

给定输入序列 X，通过三个权重矩阵得到 Q（查询）、K（键）、V（值）。注意力 = softmax(QK^T/√d) × V。直觉理解：每个 token “看” 所有其他 token，按相似度分配注意力权重，然后加权求和更新自己的表示。这就是”上下文理解”的数学表达。

2. 多头注意力（Multi-Head Attention）

一个注意力头只能学到一种关系（比如主谓关系）。多头 = 多个头并行关注不同关系（头 1 看语法、头 2 看语义、头 3 看位置），最后拼接。8 个头意味着模型可以同时从 8 个角度”理解”同一个词。

3. 位置编码（Positional Encoding）

Transformer 本身是排列不变的（输入顺序打乱结果不变），所以必须额外注入位置信息。演进路线：Sinusoidal（原始论文）→ RoPE（旋转位置编码，目前最主流）→ ALiBi（外推性好）。

4. 推测解码（Speculative Decoding）

用一个小的”草稿模型”快速生成几个 token，再用大模型验证。如果草稿对了，相当于大模型免费多生成了几个 token。2-3 倍加速推理，且输出完全一致。

---

📋 完整课程列表

#	课程	预计时长
01	Why Transformers — The Problems with RNNs	~45 min
02	Self-Attention from Scratch（从零写自注意力）	~75 min
03	Multi-Head Attention（多头注意力）	~75 min
04	Positional Encoding — Sinusoidal, RoPE, ALiBi（位置编码）	~45 min
05	The Full Transformer — Encoder + Decoder	~75 min
06	BERT — Masked Language Modeling	~45 min
07	GPT — Causal Language Modeling	~75 min
08	T5, BART — Encoder-Decoder Models	~45 min
09	Vision Transformers (ViT)	~45 min
10	Audio Transformers — Whisper Architecture	~45 min
11	Mixture of Experts (MoE)（专家混合模型）	~45 min
12	KV Cache, Flash Attention & Inference Optimization	~75 min
13	Scaling Laws（缩放定律）	~45 min
14	Build a Transformer from Scratch — The Capstone	~120 min
15	Attention Variants — Sliding Window, Sparse, Differential	~60 min
16	Speculative Decoding — Draft, Verify, Repeat	~60 min

---

🔗 前置与后续

• 前置： Phase 03 深度学习核心
• 后续： → Phase 10 从零构建 LLM / Phase 08 生成式 AI

💡 学习建议

• 第 02 和 14 节是这个阶段的灵魂——从零写 attention + 完整 Transformer
• 推荐配合 Andrej Karpathy 的「Let’s build GPT: from scratch」视频
• 12（KV Cache + Flash Attention）对做推理优化的人必学
• 13（Scaling Laws）对理解”为什么模型越大越好”至关重要