AI from Scratch · Phase 15 | 自主系统与自我改进
阶段概览
Phase 15 是整条路线图中最具前瞻性和争议性的阶段。22节课、约20小时，探讨一个根本性问题：AI 能否，以及应该如何，自主地改进自身？
这里的”自主”不是指”自动补全代码”或”自动回复邮件”这种受限任务，而是指 AI 系统在长时间跨度（long-horizon） 上独立完成复杂的研究、开发、甚至自我优化任务。METR（Model Evaluation & Threat Research）的研究表明，前沿 AI 的有效任务时长每约 7 个月翻一番——这意味着我们需要现在就开始理解自主系统的能力和风险。
这个阶段既包含令人兴奋的技术突破（AlphaEvolve、Darwin Gödel Machine、AI Scientist v2），也包含清醒的安全工程（Kill Switches、HITL、Constitutional AI Override）。两者缺一不可。
核心概念解析
📈 从聊天机器人到长时程自主任务
METR 提出了”时间地平线”（Time Horizon）概念来衡量 AI 的自主能力——模型能在多长时间内独立执行任务而不需要人类干预？从2022年的约10分钟，到2025年的数小时，增长趋势明确。课程追溯了这条演进线：Chatbot → Tool-Using Agent → Coding Agent → Research Agent → Self-Improving System。STaR（Self-Taught Reasoner） 及其变体 Quiet-STaR 是关键的技术推动者——模型在训练时自我生成推理链，筛选出正确的链路作为训练数据，实现”自我教学”。
🧬 AlphaEvolve 与 Darwin Gödel Machine
AlphaEvolve（DeepMind）将进化算法引入代码优化——LLM 生成代码变体，自动评估效果，保留最优解，迭代进化。它已经发现了比人类更优的矩阵乘法算法和排序网络。Darwin Gödel Machine 更进一步——它试图让 AI 自主修改自身的源代码来提升能力，每个修改都经过严格验证。这触及了递归自我改进（Recursive Self-Improvement） 的核心命题：如果一个系统变得更好，它就能更好地改进自身，形成正反馈循环。
🔬 AI Scientist v2 与自动化对齐研究
AI Scientist v2（Sakana AI）是一个端到端的自主研究系统——从发现研究问题、文献综述、设计实验、运行实验、分析结果到撰写论文，全部由 AI 完成。Automated Alignment Research 则探索用 AI 来解决 AI 对齐问题本身——这既是最有前景的方向（人类对齐研究者不够用），也是最令人担忧的（被对齐的 AI 能可信地自我对齐吗？）。
🛑 自主系统的安全工程
当 AI 获得更高自主性时，安全机制必须相应升级：
- Action Budgets & Cost Governors：限制 Agent 每次运行可消耗的资源（API 调用次数、计算时间、资金）
- Kill Switches & Circuit Breakers：紧急停止机制，在 Agent 行为偏离预期时立即中断
- HITL（Human-in-the-Loop）Propose-Then-Commit：Agent 提出方案 → 人类审批 → Agent 执行，关键操作不能自动执行
- Checkpoints & Rollback：定期保存状态，出问题时回退到上一安全状态
- Constitutional AI Rule Overrides：硬编码的规则可以覆盖 Agent 的决策，作为最后一道防线
📋 安全框架与风险评估
课程涵盖三大安全框架：RSP v3.0（Anthropic 的 Responsible Scaling Policy）、OpenAI Preparedness Framework、METR Time Horizons。这些框架定义了 AI 能力评估的标准流程、关键风险类别（CBRN - 化学/生物/放射/核、网络攻击、自主复制），以及在什么条件下应该暂停或限制部署。Llama Guard 是 Meta 开源的内容安全分类器，可用于输入输出安全检查。CAIS/CAISI 聚焦于 AI 的社会级风险。
完整课程列表
| 序号 | 课程名 | 预计时长 |
|---|---|---|
| 1 | From Chatbots to Long-Horizon (METR) | 55 min |
| 2 | STaR, V-STaR, Quiet-STaR | 60 min |
| 3 | AlphaEvolve | 65 min |
| 4 | Darwin Gödel Machine | 60 min |
| 5 | AI Scientist v2 | 70 min |
| 6 | Automated Alignment Research | 55 min |
| 7 | Recursive Self-Improvement | 60 min |
| 8 | Bounded Self-Improvement | 50 min |
| 9 | Autonomous Coding Agents | 60 min |
| 10 | Claude Code Permission Modes | 50 min |
| 11 | Browser Agents & Indirect Injection | 55 min |
| 12 | Durable Execution | 50 min |
| 13 | Action Budgets & Cost Governors | 45 min |
| 14 | Kill Switches & Circuit Breakers | 45 min |
| 15 | HITL: Propose-Then-Commit | 50 min |
| 16 | Checkpoints & Rollback | 45 min |
| 17 | Constitutional AI Rule Overrides | 50 min |
| 18 | Llama Guard | 45 min |
| 19 | RSP v3.0 (Responsible Scaling Policy) | 55 min |
| 20 | OpenAI Preparedness Framework | 50 min |
| 21 | METR Time Horizons | 50 min |
| 22 | CAIS / CAISI: Societal Risk | 45 min |
前置依赖
- 完成 Phase 14（Agent Engineering）——自主系统建立在 Agent 基础之上
- 理解 LLM 训练流程（Phase 10）——需要理解 STaR、自我改进等技术
- 对 AI 安全和伦理有基本认知
- 开放的心态：既不盲目乐观也不盲目恐惧
后续方向
- Phase 16（Multi-Agent & Swarms）：自主 Agent 的群体行为和协作
- Phase 18（Ethics, Safety & Alignment）：更深入的 AI 对齐和安全研究
- Phase 19（Capstone）：自主研究代理项目
学习建议
- 技术和安全并重：不要只看”炫酷”的自助改进技术，安全工程同样重要
- 读原始论文：AlphaEvolve、AI Scientist、Darwin Gödel Machine 都有详细论文，值得精读
- 动手实验 STaR：在一个小型推理任务上实现 STaR 循环，体会”自我教学”的效果
- 做威胁建模：选一个你构建过的 Agent 系统，分析它的安全风险点，设计防护措施
- 关注政策动态：RSP、Preparedness Framework 等文件是活的文档，定期更新
- 保持理性：这个领域容易走极端——既不要认为”AI 明天就要毁灭人类”，也不要认为”一切都没问题”
- 三周完成：每周 7 节课，技术部分两周，安全框架一周