TokenSpeed 面向 Agent 的推理引擎架构与性能数据
TokenSpeed 独立贡献者尚旭春分享面向 Agent 场景的推理引擎设计：控制面/Runtime/Kernel 三层解耦、自动并行编译、Flat KV Cache 与 Blackwell MLA Kernel 优化，batch=1 延迟较 TensorRT-LLM 快 9%。
要点
- batch=1 时端到端延迟比 TensorRT-LLM 快 9%，每用户 100 TPS 时每 GPU 吞吐高 11%
- 架构分 C++ 控制面、Python Runtime、Kernel 三层，用 Placement 系统自动插入通信原语
- KV Cache 由 Radix Tree 迁移到 Flat KV，双层 block：逻辑块 128、物理块 1536
- 千问 3.5 上下文从 128K 扩展到 1M，解码吞吐仅下降 16%
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。