AI from Scratch · Phase 17 | 基础设施与生产部署
阶段概览
Phase 17 是整个路线图中”最硬核工程”的阶段——28节课、约32小时，解决一个关键问题：如何把 LLM 从 Demo 推向可靠、高效、经济的大规模生产部署？
很多团队在原型阶段跑得很好，一到生产就翻车：推理延迟太高、GPU 成本失控、模型更新出故障、合规审计过不了。这些问题不是靠”换个更大的 GPU”能解决的——需要系统化的推理优化、智能路由、可观测性、安全合规和成本管理。
这个阶段面向平台工程师、SRE、AI 基础设施工程师，以及任何需要把 AI 模型部署到生产环境的技术人。内容从推理引擎（vLLM、SGLang、TensorRT-LLM）到云平台（Bedrock、Azure、Vertex），从边缘部署到多区域 KV Cache，从 FinOps 到合规审计，一网打尽。
核心概念解析
⚡ 推理引擎三巨头：vLLM、SGLang、TensorRT-LLM
vLLM 凭借 PagedAttention 彻底改变了 LLM 推理——它将 KV Cache 像操作系统的虚拟内存一样分页管理，显存碎片率从 60-80% 降到 <4%，使得 Continuous Batching（动态拼batch）成为可能。一个 vLLM 实例的吞吐量可以是原生 Transformers 的 20+ 倍。SGLang 引入了 RadixAttention——用基数树缓存和复用前缀的 KV Cache，对于 RAG 和多轮对话场景的加速效果极其显著。TensorRT-LLM 是 NVIDIA 的官方方案，在 Blackwell 架构上利用 FP8 Tensor Core 实现极致性能。
🎯 推理性能指标：TTFT 与 TPOT
LLM 推理的性能不能用单一指标衡量：
- TTFT（Time To First Token）：从请求到第一个 token 返回的时间——决定用户感知的”响应速度”
- TPOT（Time Per Output Token）：生成每个 token 的平均时间——决定”阅读流畅度”
- Throughput：单位时间处理的请求数——决定服务器效率
- Goodput：满足 SLA 条件下的有效吞吐量——这才是生产环境真正关心的指标
优化策略往往是 TTFT 和 Throughput 之间的权衡——更大的 batch 提高 throughput 但增加 TTFT。
💰 推理经济学与 FinOps
LLM 推理成本是传统软件的 10-100 倍。FinOps（Financial Operations） 实践帮你控制和优化这部分开销：
- Unit Economics：计算每个请求的真实成本（GPU 折旧 + 电力 + 运维），定义单位经济学模型
- Model Routing：简单请求路由到小模型，复杂请求才用大模型——可以节省 60-80% 成本
- Prompt Caching + Semantic Caching：相同或语义相似的请求直接返回缓存结果
- Batch APIs：非实时场景使用批量推理，成本降低 50%
- GPU Autoscaling (Karpenter)：根据负载自动扩缩容，避免 GPU 闲置浪费
- Cold Start / Serverless：按需启动模型实例，但需要优化冷启动时间
🌐 前沿推理架构
Disaggregated Prefill-Decode 是 2025 年最重要的推理架构创新——将 Prefill（处理 Prompt）和 Decode（生成 token）分离到不同的 GPU 集群上，各自独立优化。Prefill 是计算密集型，用高算力 GPU；Decode 是访存密集型，用高带宽 GPU。EAGLE-3 Speculative Decoding 在 Decode 阶段引入草稿模型，2-3 倍无损加速。LMCache 实现跨请求的 KV Cache 复用，对多轮对话和 RAG 场景效果显著。Multi-Region KV Cache 将热门模型的 KV Cache 分布到全球节点，降低地理延迟。
🔒 安全、合规与边缘部署
生产环境的安全合规是不可逾越的底线：Secrets/PII 保护确保模型不泄露敏感信息，SOC 2 / HIPAA / GDPR 合规要求审计日志、数据驻留、删除权等。Edge Inference 将模型部署到设备端——Apple ANE（Neural Engine）和 WebGPU 让浏览器内推理成为现实，适合隐私敏感和低延迟场景。Self-Hosted Serving（llama.cpp / Ollama） 则是完全自主控制的方案，不依赖任何云服务。
完整课程列表
| 序号 | 课程名 | 预计时长 |
|---|---|---|
| 1 | Managed LLM Platforms: Bedrock, Azure, Vertex | 55 min |
| 2 | Inference Economics: Firewalls, Together | 55 min |
| 3 | GPU Autoscaling: Kubernetes, Karpenter | 60 min |
| 4 | vLLM: PagedAttention, Continuous Batching | 75 min |
| 5 | EAGLE-3: Speculative Decoding | 55 min |
| 6 | SGLang: RadixAttention | 60 min |
| 7 | TensorRT-LLM: Blackwell FP8 | 65 min |
| 8 | Inference Metrics: TTFT, TPOT | 50 min |
| 9 | Production Quantization: AWQ, GPTQ | 60 min |
| 10 | Cold Start & Serverless | 50 min |
| 11 | Multi-Region KV Cache | 55 min |
| 12 | Edge Inference: ANE, WebGPU | 50 min |
| 13 | LLM Observability | 55 min |
| 14 | Prompt Caching & Semantic Caching | 50 min |
| 15 | Batch APIs | 45 min |
| 16 | Model Routing | 50 min |
| 17 | Disaggregated Prefill-Decode | 60 min |
| 18 | vLLM + LMCache | 55 min |
| 19 | AI Gateways: LiteLLM, Portkey | 55 min |
| 20 | Shadow, Canary & Progressive Deploy | 50 min |
| 21 | A/B Testing for LLM | 50 min |
| 22 | Load Testing: k6, LLMPerf | 45 min |
| 23 | SRE: Multi-Agent Incident Response | 55 min |
| 24 | Chaos Engineering | 50 min |
| 25 | Security: Secrets & PII | 55 min |
| 26 | Compliance: SOC2, HIPAA, GDPR | 55 min |
| 27 | FinOps: Unit Economics | 50 min |
| 28 | Self-Hosted Serving: llama.cpp, Ollama | 55 min |
前置依赖
- 熟悉 LLM 应用开发（Phase 11）
- 基本的 DevOps / SRE 经验（Docker、Kubernetes、CI/CD）
- 理解 GPU 计算的基本概念
- 了解网络编程和分布式系统基础
后续方向
- Phase 13（Tools & Protocols）：工具调用基础设施与推理基础设施的结合
- Phase 14（Agent Engineering）：Agent 系统的生产部署
- Phase 18（Ethics & Safety）：安全合规的更深入讨论
- Phase 19（Capstone）：推测解码推理服务器项目
学习建议
- 亲手部署一个 vLLM 实例：这是本阶段最重要的一课，理论结合实践
- 建立成本仪表盘：追踪每个模型、每次请求的成本，培养 FinOps 意识
- 做压力测试：用 k6 或 LLMPerf 对你的推理服务做压力测试，找到性能瓶颈
- 关注 Disaggregated Architecture：这是推理基础设施的未来方向
- 安全合规不能后补：在架构设计阶段就考虑 SOC2/GDPR，而不是上线后再补救
- 五到六周完成：推理引擎两周，部署和运维两周，安全合规和 FinOps 一周