AI from Scratch · Phase 01 | 数学基础
📐 Phase 01:数学基础
22 节课 · ~23 小时 · 从向量到傅里叶,AI 数学的完整地图
为什么这个阶段重要?
AI 不是魔法,是数学。神经网络的本质是矩阵乘法 + 链式求导;扩散模型的本质是随机过程 + 变分推断;Transformer 的注意力是概率分布的加权求和。
不理解数学,你只能当「调参侠」——改个 learning rate 碰运气。理解了数学,你才能读懂论文、调试梯度爆炸、设计新架构。
关键原则: 不是让你成为数学家,而是让你成为能读懂公式的工程师。
🔑 核心概念
1. 线性代数——AI 的操作系统
神经网络 = 层层矩阵乘法 + 非线性变换。核心概念:向量空间、矩阵分解(SVD/PCA 用于降维)、特征值(理解谱归一化)。如果你只能学一个数学主题,就是这个。
2. 梯度下降家族
AI 训练的本质 = 在高维空间里找最低点。SGD、Momentum、Adam 的区别就是”小球从山坡滚下来”时对惯量的处理不同。理解梯度下降,就理解了为什么训练会发散、为什么需要学习率预热。
3. 概率与贝叶斯思维
分类问题输出概率(softmax)、生成模型学习分布(KL 散度)、贝叶斯定理贯穿整个不确定性推理。信息论中的「熵」直接对应交叉熵损失——你每天用的 loss function。
4. 自动微分
PyTorch 的 autograd 和 JAX 的 grad 底层都是自动微分。理解链式法则如何被程序化,你就理解了反向传播的数学本质。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | Linear Algebra Intuition(线性代数直觉) | ~45 min |
| 02 | Vectors, Matrices & Operations(向量矩阵运算) | ~75 min |
| 03 | Matrix Transformations & Eigenvalues(矩阵变换与特征值) | ~75 min |
| 04 | Calculus for ML — Derivatives & Gradients(ML 微积分) | ~45 min |
| 05 | Chain Rule & Automatic Differentiation(链式法则与自动微分) | ~75 min |
| 06 | Probability & Distributions(概率与分布) | ~45 min |
| 07 | Bayes’ Theorem & Statistical Thinking(贝叶斯与统计思维) | ~75 min |
| 08 | Optimization — Gradient Descent Family(梯度下降家族) | ~75 min |
| 09 | Information Theory — Entropy, KL Divergence(信息论) | ~45 min |
| 10 | Dimensionality Reduction — PCA, t-SNE, UMAP(降维方法) | ~75 min |
| 11 | Singular Value Decomposition(SVD 奇异值分解) | ~75 min |
| 12 | Tensor Operations(张量运算) | ~75 min |
| 13 | Numerical Stability(数值稳定性) | ~45 min |
| 14 | Norms & Distances(范数与距离) | ~45 min |
| 15 | Statistics for ML(ML 统计) | ~45 min |
| 16 | Sampling Methods(采样方法) | ~75 min |
| 17 | Linear Systems(线性系统) | ~75 min |
| 18 | Convex Optimization(凸优化) | ~75 min |
| 19 | Complex Numbers for AI(AI 中的复数) | ~45 min |
| 20 | The Fourier Transform(傅里叶变换) | ~75 min |
| 21 | Graph Theory for ML(ML 图论) | ~45 min |
| 22 | Stochastic Processes(随机过程) | ~45 min |
🔗 前置与后续
- 前置: Phase 00(环境配好才能写代码)
- 后续: → Phase 02 机器学习基础(数学到位了,开始用算法)
💡 学习建议
- 不要刷教材,这是工程师课不是数学考研。理解直觉即可,推导能跟上就 OK
- 重点放在 01-08(线代+微积分+概率+优化),这是 80% 场景的核心
- 09-22 是专题,用到时再回来查
- 推荐配合 3Blue1Brown 的可视化视频理解直觉