vLLM v0.32.0 发布：814 个提交，多 API worker 吞吐提升 43%–85%
这一版重点放在低精度 KV 和推理性能上，共 814 个提交、363 位贡献者，其中 121 位是首次提交。
要点
- 新增 /v1/systemone 结构化决策端点，以及通用的 hf tool / reasoning parser
- 低精度 KV 全面支持：SM8x/90/12x 支持 NVFP4，GLM-5.x 默认 FP8 KV，ROCm 支持 4-bit KV
- Model Runner V2 支持 GPU n-gram speculator、Elastic EP、MLA 的 PP+CP，在 ROCm 上已是默认配置
- 预编译 kernel 下载、autotune 预加载让启动更快，多 API worker 下 req/s 提升 43%–85%
- 新模型 EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR；另有 3 个安全修复和 CORS 加固。脚本里固定版本的，要核对 FP8 KV 默认值的变化
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。