扩散模型为什么可能赢得 AI 推理 | No Priors

导读

Stefano Ermon 把扩散模型的竞争力落在推理阶段的并行性上。自回归模型逐 Token 生成，受内存带宽和权重搬运约束；扩散语言模型可以同时处理多个 Token，更充分使用现有 GPU。Inception 已把 Mercury 用于语音 Agent 等延迟敏感场景，主张软件并行化与专用硬件的增益可以相乘。