共 135 条更新于 2026-11-10 07:45RSS
文章讨论传统 RAG 四重困境,指出 Search Harness 与 Grep 构成强基线,但大规模数据下探索与 Token 成本高;知识编译把理解移到索引时,为 Agent 提供高密度可追溯上下文。
TokenSpeed 独立贡献者尚旭春分享面向 Agent 场景的推理引擎设计:控制面/Runtime/Kernel 三层解耦、自动并行编译、Flat KV Cache 与 Blackwell MLA Kernel 优化,batch=1 延迟较 TensorRT-LLM 快 9%。