资讯

共 135 条更新于 2026-11-10 07:45RSS

长上下文

11 月 3 日周二

模型MarkTechPost

Zyphra提出ZHA：树索引器实现亚二次稀疏注意力

Zyphra提出ZHA稀疏注意力，用树状索引器让索引本身亚线性，仅训练约8.2万参数即可蒸馏到冻结的Qwen3.6-35B-A3B。256K上下文下多数基准接近稠密注意力，但未发布优化内核，加速均为建模值。

10 月 28 日周三

模型ModelScope

Ling-3.1-flash-1019 上线魔搭：560B 开源 MoE，支持 1M 上下文

inclusionAI 在 ModelScope 上架 Ling-3.1-flash-1019，总参数 560B、每个 token 激活 25B，采用 MIT 许可。