资讯

Zyphra提出ZHA：树索引器实现亚二次稀疏注意力

Zyphra提出ZHA稀疏注意力，用树状索引器让索引本身亚线性，仅训练约8.2万参数即可蒸馏到冻结的Qwen3.6-35B-A3B。256K上下文下多数基准接近稠密注意力，但未发布优化内核，加速均为建模值。