MoE 路由七大策略解析：Top-K、专家选择与 Sigmoid 门控
MarkTechPost 梳理生产环境 7 种 MoE 路由策略，覆盖 Mixtral、Qwen3、DeepSeek-V3/V4、Kimi K2 等模型，指出 Sigmoid 打分加无辅助损失偏置平衡是 2026 年前沿开源 MoE 的主流配方。
要点
- MoE 路由为每个 token 选择少量专家，Mixtral 8x7B 总参 47B、激活 13B
- softmax top-k 基线中，Mixtral 8 选 2、gpt-oss-120b 128 选 4、Qwen3 128 选 8
- DeepSeek-V3 每层 1 个共享专家加 256 个路由专家，每 token 激活 8 个
- Sigmoid 门控加无辅助损失偏置平衡：1B 规模下 MaxVio 从 0.72 降至 0.04，困惑度更低
- 专家选择路由训练收敛快 2 倍以上，但在因果模型中泄漏未来 token，实测异常 loss 下降约 10%
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。