Zyphra提出ZHA：树索引器实现亚二次稀疏注意力
Zyphra提出ZHA稀疏注意力，用树状索引器让索引本身亚线性，仅训练约8.2万参数即可蒸馏到冻结的Qwen3.6-35B-A3B。256K上下文下多数基准接近稠密注意力，但未发布优化内核，加速均为建模值。
要点
- 在Qwen3.6-35B-A3B上仅新增81,920个可训练参数（约0.00024%），骨干保持冻结
- 树索引器把KV分块压缩成摘要键，解码时按top-p逐层扩展分支，首token始终保留
- LongBench v2得63.4%（深度树）对比稠密58.0%，仅读取约1.1%的键
- RULER-13 256K上宽树96.2%略高于稠密96.0%，MSA同测试降至77.1%
- 未发布优化内核，速度来自H100 BF16 roofline建模；10亿token处投影373–417倍于稠密
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。