开源MoE路由对比：专家数8到384，Top-k 1到8
对比10个开源MoE模型的路由配置，涵盖专家数、Top-k、共享专家、门控与负载均衡；专家数从8到384，Top-k从1到8，部署需关注显存和通信开销。
要点
- 专家数从Mixtral的8个增至Kimi K2、DeepSeek-V4-Pro的384个；Top-k从1到8。
- DeepSeek-V3用sigmoid评分256个专家并选top-8，采用无辅助损失偏置均衡，每token最多到4节点。
- DeepSeek-V4-Pro提升到384专家但top-k降至6，改用sqrtsoftplus，前3个MoE层用哈希路由。
- Llama 4 Maverick每层将token路由到1个共享专家和128个路由专家中的1个，总参400B、激活17B。
- gpt-oss-120b用线性路由器在128专家中选top-4，无共享专家，MXFP4权重可装入单张80GB GPU。
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。