资讯
共 135 条更新于 2026-11-10 07:45RSS
11 月 9 日昨天 · 周一
11 月 8 日周日
开源MoE路由对比：专家数8到384，Top-k 1到8
对比10个开源MoE模型的路由配置，涵盖专家数、Top-k、共享专家、门控与负载均衡；专家数从8到384，Top-k从1到8，部署需关注显存和通信开销。
MoE 路由七大策略解析：Top-K、专家选择与 Sigmoid 门控
MarkTechPost 梳理生产环境 7 种 MoE 路由策略，覆盖 Mixtral、Qwen3、DeepSeek-V3/V4、Kimi K2 等模型，指出 Sigmoid 打分加无辅助损失偏置平衡是 2026 年前沿开源 MoE 的主流配方。
Nous 开源 Arete-27B：宣传性回答22%降至0.9%
Nous Research 发布 Arete-27B，仅对 Qwen3.8-27B 做监督微调，未使用 RL 或偏好优化。在其803条提示评测中，宣传性回答占比从22%降至0.9%，基准能力基本持平，权重、评测集与训练数据全部公开。