开源如何成为 AI 的基础设施 | a16z Show

导读

vLLM 是一个推理引擎。它有点像数据库、操作系统和其他为 AGI 提供动力的关键软件。NVIDIA、AMD、Google，他们最新的芯片都会确保 vLLM 能在上面运行。而且在很多情况下，他们用 vLLM 作为基准测试。我们正在弥合近 10 倍的差距。对于专有模型，有常规模式和快速模式。