Buoyant开源Kinference：K8s与vLLM推理控制面
Buoyant发布Apache 2.0开源项目Kinference，为Kubernetes上的vLLM提供推理控制面：策略路由、KV缓存感知负载均衡与多租户指标，自称共享前缀场景中位TTFT降约95%。
要点
- 当前版本v0.1.0-alpha.7，Rust编写、Apache 2.0许可，通过5个Kubernetes CRD配置
- 由流量网关与gRPC推理处理器组成，监听vLLM的KV缓存事件与引擎指标
- 基准用3块L40S、Qwen3.8-27B-FP8：共享前缀中位TTFT从6.88s降至0.31s
- 共享前缀峰值goodput约7.4倍（103.0对14.0 req/min），多轮对话约3.5倍
- 仍为alpha：限流、分类器与Anthropic API支持尚未发布；数据为自测
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。