资讯

Buoyant开源Kinference：K8s与vLLM推理控制面

Buoyant发布Apache 2.0开源项目Kinference，为Kubernetes上的vLLM提供推理控制面：策略路由、KV缓存感知负载均衡与多租户指标，自称共享前缀场景中位TTFT降约95%。