唐杰高级机器学习讲义 | 第五课：大模型训练并行与推理经济学（待核对稿）

导读

第五课沿着“让大模型高效地用起来”展开。训练部分从 GPU 存储层次、Roofline 和算子融合讲到 Triton、FlashAttention、混合精度与重计算，再比较数据、张量、流水线、上下文和专家并行，结合 GLM-130B、Llama 3.1、DeepSeek-V3 说明系统选择。推理部分区分 prefill 和 decode，讨论 KV cache、分页、连续批处理、PD 分离、量化与投机采样，并把吞吐、单用户速度和每词元成