AI from Scratch · Phase 02 | 机器学习基础
· 超级大脑
📊 Phase 02:机器学习基础
18 节课 · ~21 小时 · 深度学习之前,先把经典 ML 搞透
为什么这个阶段重要?
深度学习不是万能的。在表格数据、小样本场景、可解释性要求高的业务中,XGBoost 和随机森林依然是首选。更重要的是,理解 ML 基础概念(偏差-方差、过拟合、特征工程)是理解深度学习的前提。
一个秘密: 很多所谓的”AI 工程师”连交叉验证都搞不清楚。把这个阶段学扎实,你就超过了大多数人。
🔑 核心概念
1. 偏差-方差权衡(Bias-Variance Tradeoff)
模型太简单 → 欠拟合(高偏差);太复杂 → 过拟合(高方差)。理解这条曲线,就理解了为什么需要正则化、为什么需要 Dropout、为什么需要更多数据。
2. 特征工程
“Garbage in, garbage out” 的核心环节。在传统 ML 中,特征决定了天花板,算法只是逼近这个天花板。掌握编码(one-hot/target encoding)、缩放(standard/min-max)、特征交叉。
3. 模型评估方法论
准确率不够用——不平衡数据要看 F1/AUC,排名问题要看 NDCG。更关键的是交叉验证的正确姿势:分层采样、时序数据的 walk-forward、分组数据的 GroupKFold。
4. 集成学习
“三个臭皮匠顶个诸葛亮”。Bagging(随机森林)降方差,Boosting(XGBoost/LightGBM)降偏差,Stacking 组合不同模型。Kaggle 冠军的标配。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | What Is Machine Learning — Types & Taxonomy(ML 类型与分类) | ~45 min |
| 02 | Linear Regression from Scratch(从零实现线性回归) | ~75 min |
| 03 | Logistic Regression & Classification(逻辑回归与分类) | ~75 min |
| 04 | Decision Trees & Random Forests(决策树与随机森林) | ~75 min |
| 05 | Support Vector Machines(支持向量机) | ~75 min |
| 06 | K-Nearest Neighbors & Distance Metrics(KNN 与距离度量) | ~75 min |
| 07 | Unsupervised Learning — K-Means, DBSCAN(无监督聚类) | ~75 min |
| 08 | Feature Engineering & Selection(特征工程与选择) | ~75 min |
| 09 | Model Evaluation — Metrics, Cross-Validation(模型评估) | ~75 min |
| 10 | Bias, Variance & the Learning Curve(偏差方差与学习曲线) | ~45 min |
| 11 | Ensemble Methods — Boosting, Bagging, Stacking(集成方法) | ~75 min |
| 12 | Hyperparameter Tuning & AutoML(超参调优) | ~75 min |
| 13 | ML Pipelines & Experiment Tracking(ML 流水线) | ~75 min |
| 14 | Naive Bayes — Multinomial, Gaussian, Bernoulli(朴素贝叶斯) | ~75 min |
| 15 | Time Series Fundamentals(时间序列基础) | ~45 min |
| 16 | Anomaly Detection(异常检测) | ~75 min |
| 17 | Handling Imbalanced Data(不平衡数据处理) | ~75 min |
| 18 | Feature Selection(特征选择) | ~75 min |
🔗 前置与后续
- 前置: Phase 01(数学基础,尤其是概率和优化)
- 后续: → Phase 03 深度学习核心(从传统 ML 进入神经网络)
💡 学习建议
- 每个算法都从零实现一次,然后用 scikit-learn 对照
- 在 Kaggle 上找 1-2 个表格比赛练手(Titanic → House Prices)
- 重点掌握:线性/逻辑回归、随机森林、XGBoost、交叉验证
- 不要在 SVM 上花太多时间(工业界几乎不用了)