共 135 条更新于 2026-11-10 07:45RSS
Buoyant发布Apache 2.0开源项目Kinference，为Kubernetes上的vLLM提供推理控制面：策略路由、KV缓存感知负载均衡与多租户指标，自称共享前缀场景中位TTFT降约95%。
这一版重点放在低精度 KV 和推理性能上，共 814 个提交、363 位贡献者，其中 121 位是首次提交。
