资讯

NVIDIA三项优化让DGX Spark上MoE推理吞吐提升42.5%

NVIDIA技术博客展示了在单台DGX Spark上加速Ling-3.0-flash（124B总参数、5.1B激活）MoE推理的三项优化：Humming MXFP4 MoE内核、FP8 LM head与内置NEXTN投机解码。在1319道GSM8K上解码吞吐从37.81提升到53.89 tokens/s，准确率基本不变。