Together AI 发布 Together Compiler：推理最高提速 2.6 倍
Together AI 推出 Together Compiler（TKCC），用编码智能体持续重写模型前向计算，随生产流量变化重新优化推理；已在多个 serverless 端点运行，官方称对比 InferenceX 最佳配置最高提升 2.6 倍 TPS。
要点
- 测试覆盖 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 与 Llama 1B，运行于 B200、B300、GB300、H100、MI355X、Trainium2。
- 在 SemiAnalysis InferenceX 的 AgentX 负载上最高达 2.6 倍 TPS，每种配置 24 小时内完成，每个模型最多用 2 个节点。
- MiniMax M3.1 Flash 在 B200、batch size 1 下达 1111 P90 TPS/用户，基线为 633，约 1.8 倍。
- 持久化引擎热重载使智能体实验吞吐比重启引擎基线高 252 倍，快慢两级测量测试的候选数多 8.1 倍。
- 官方自报提升幅度从约 4%（GLM 5.3 on MI355X，463→480 TPS）到 2.6 倍不等；目前为 Together 客户限量 beta。
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。