资讯

TokenSpeed 面向 Agent 的推理引擎架构与性能数据

TokenSpeed 独立贡献者尚旭春分享面向 Agent 场景的推理引擎设计：控制面/Runtime/Kernel 三层解耦、自动并行编译、Flat KV Cache 与 Blackwell MLA Kernel 优化，batch=1 延迟较 TensorRT-LLM 快 9%。