历史简报 · 2026-11-17

vLLM v0.34.0 发布:带来显著性能提升与全新大模型支持

vLLM v0.34.0 版本为运行大语言模型带来了大幅性能提速,并原生支持了包括 Mistral Large 4 和 Nemotron-3.5-Transcribe 在内的 10 款新模型。这次更新将可扩展 KV 缓存默认开启,为你的显卡争取到更大的内存缓存和更高的整体吞吐量。

原文配图 · vLLM Releases

版本概述

vLLM v0.34.0 是一个重要的里程碑版本,凝聚了来自 412 位贡献者的 1,061 次提交。该版本正式退役了旧版的模型运行器 V1,全面转向更高效的 V2 架构。同时,它针对最新的硬件(如 Blackwell 和 MI355X)进行了深度的性能调优。

核心性能提升

性能飞跃是本次更新的重头戏。在 GB200 等硬件上,解码速度最高可提升 1.95 倍;运行 GLM-5.3-Flash 等模型时,吞吐量提升可达 1.6 倍。此外,长文本输入的首次 Token 生成时间(TTFT)也缩短了 1.24 到 1.40 倍。

全新模型支持

本次更新无缝接入了 10 款前沿新模型,涵盖文本、语音和多模态领域。其中的亮点包括支持 FP8 与 NVFP4 的 Mistral Large 4、MiniMax-M3.1-Flash、NVIDIA Nemotron-3.5-Transcribe 以及 Liquid AI 的 LFM3 系列。

升级注意事项与破坏性变更

在升级前需要注意几项重要的架构调整。默认的分块大小(block size)从 16 调整为了 64,并且系统环境现在强制要求 huggingface_hub >= 2.0.0。此外,可扩展 KV 缓存现在会根据预热后实际剩余的显存自动计算大小,从而榨干硬件性能。

查看筛选依据
开源项目阶段未明确

重要性 88/100

信号90结构90影响85可信度93热度92
关于这篇简报
内容类型
新闻摘要
信源类型
第一方/官方来源
原始来源
vLLM Releases ↗
原文发布时间
处理方式
AI 辅助发现、翻译、摘要、分类与评分;编辑标准和纠错由编辑部维护。
核验边界
保留原始链接与发布信息;除非特别说明,本简报不构成独立事实核查。
发布方
Polyemergence Editorial Desk · PolyEmergence Pte Ltd.
利益冲突
无已声明的财务或商业利益冲突。

编辑标准 → · 纠错记录 →

POLYEMERGENCE / EXPLORE

继续探索

顺着这条线索,看看它从哪里来,又走到了哪里。

探索人工智能历史报道 →