vLLM v0.34.0 发布:带来显著性能提升与全新大模型支持
vLLM v0.34.0 版本为运行大语言模型带来了大幅性能提速,并原生支持了包括 Mistral Large 4 和 Nemotron-3.5-Transcribe 在内的 10 款新模型。这次更新将可扩展 KV 缓存默认开启,为你的显卡争取到更大的内存缓存和更高的整体吞吐量。
原文配图暂不可用
版本概述
vLLM v0.34.0 是一个重要的里程碑版本,凝聚了来自 412 位贡献者的 1,061 次提交。该版本正式退役了旧版的模型运行器 V1,全面转向更高效的 V2 架构。同时,它针对最新的硬件(如 Blackwell 和 MI355X)进行了深度的性能调优。
核心性能提升
性能飞跃是本次更新的重头戏。在 GB200 等硬件上,解码速度最高可提升 1.95 倍;运行 GLM-5.3-Flash 等模型时,吞吐量提升可达 1.6 倍。此外,长文本输入的首次 Token 生成时间(TTFT)也缩短了 1.24 到 1.40 倍。
全新模型支持
本次更新无缝接入了 10 款前沿新模型,涵盖文本、语音和多模态领域。其中的亮点包括支持 FP8 与 NVFP4 的 Mistral Large 4、MiniMax-M3.1-Flash、NVIDIA Nemotron-3.5-Transcribe 以及 Liquid AI 的 LFM3 系列。
升级注意事项与破坏性变更
在升级前需要注意几项重要的架构调整。默认的分块大小(block size)从 16 调整为了 64,并且系统环境现在强制要求 huggingface_hub >= 2.0.0。此外,可扩展 KV 缓存现在会根据预热后实际剩余的显存自动计算大小,从而榨干硬件性能。
查看筛选依据
重要性 88/100
关于这篇简报
- 内容类型
- 新闻摘要
- 信源类型
- 第一方/官方来源
- 原始来源
- vLLM Releases ↗
- 原文发布时间
- 处理方式
- AI 辅助发现、翻译、摘要、分类与评分;编辑标准和纠错由编辑部维护。
- 核验边界
- 保留原始链接与发布信息;除非特别说明,本简报不构成独立事实核查。
- 发布方
- Polyemergence Editorial Desk · PolyEmergence Pte Ltd.
- 利益冲突
- 无已声明的财务或商业利益冲突。