唐杰高级机器学习讲义 | 第三课：从 Transformer 到 Scaling Law 与 Agent 演进

导读

这节课沿着 Transformer 的演进展开三个问题：不同架构为什么收敛到 Decoder-only，扩大模型为何带来新的能力，以及固定算力预算下怎样分配参数与数据。唐杰结合 GLM 训练经历、三篇涌现能力论文和 Kaplan、Chinchilla 的不同配方，讨论知识能力如何走向 Coding、Computer Use 与自主系统。后半段把推理次数、数据供给和后训练加入成本分析；两轮课堂问答则进一步追问表示学习、模型稳定性、投研 A