Zyphra开源ZYFA：AMD MI355X FP8注意力内核
Zyphra发布开源ZYFA，为AMD Instinct MI355X提供FP8/BF16因果预填充注意力内核。真实激活下FP8吞吐较AITER提升1.16-1.76倍，误差降低62-78%。
要点
- ZYFA支持FP8 e4m3与BF16因果预填充注意力，适配MI355X（CDNA4/gfx950），提供flash_attn_func接口，Apache 2.0开源。
- 真实模型激活下FP8吞吐为AITER的1.16-1.76倍；32K tokens下最高达2672 TFLOP/s，约为FP8峰值的53%。
- 采用Lean P、双波ping-pong调度及逐块缩放等技术，head dim 128下FP8误差比AITER低62-78%。
- 当前仅支持预填充前向，不支持decode与paged KV，且仅适用于AMD MI355X。
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。