NVIDIA三项优化让DGX Spark上MoE推理吞吐提升42.5%
NVIDIA技术博客展示了在单台DGX Spark上加速Ling-3.0-flash（124B总参数、5.1B激活）MoE推理的三项优化：Humming MXFP4 MoE内核、FP8 LM head与内置NEXTN投机解码。在1319道GSM8K上解码吞吐从37.81提升到53.89 tokens/s，准确率基本不变。
要点
- 测试模型Ling-3.0-flash为124B总参数、5.1B激活参数的MoE，原生256K上下文
- 三项优化分别降低单步开销与减少解码步数：Humming内核、FP8 LM head、MTP投机解码
- GSM8K全量1319题上吞吐37.81→53.89 tokens/s（+42.5%），平均延迟降24.5%
- 准确率96.89%→96.82%，NVIDIA称该差异在统计上不可检测
- 合成测试MTP带来+185.1%，但在GSM8K上接受长度由3.90降至2.68
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。