资讯

共 135 条更新于 2026-11-10 07:45RSS

推理优化

11 月 10 日今天 · 周二

模型MarkTechPost

百度ERNIE Evolve自动研究系统刷新多项基准

百度发布ERNIE Evolve自动化研究系统，可围绕仓库目标自主选方向、改代码并跑实验；在NanoChat、NanoGPT Speedrun等基准取得成绩，并优化ERNIE-5.5-Flash推理。

11 月 5 日周四

开发MarkTechPost

Together AI 发布 Together Compiler：推理最高提速 2.6 倍

Together AI 推出 Together Compiler（TKCC），用编码智能体持续重写模型前向计算，随生产流量变化重新优化推理；已在多个 serverless 端点运行，官方称对比 InferenceX 最佳配置最高提升 2.6 倍 TPS。

11 月 4 日周三

开发MarkTechPost

NVIDIA三项优化让DGX Spark上MoE推理吞吐提升42.5%

NVIDIA技术博客展示了在单台DGX Spark上加速Ling-3.0-flash（124B总参数、5.1B激活）MoE推理的三项优化：Humming MXFP4 MoE内核、FP8 LM head与内置NEXTN投机解码。在1319道GSM8K上解码吞吐从37.81提升到53.89 tokens/s，准确率基本不变。

11 月 3 日周二

模型MarkTechPost

Zyphra提出ZHA：树索引器实现亚二次稀疏注意力

Zyphra提出ZHA稀疏注意力，用树状索引器让索引本身亚线性，仅训练约8.2万参数即可蒸馏到冻结的Qwen3.6-35B-A3B。256K上下文下多数基准接近稠密注意力，但未发布优化内核，加速均为建模值。