共 135 条更新于 2026-11-10 07:45RSS
对比10个开源MoE模型的路由配置，涵盖专家数、Top-k、共享专家、门控与负载均衡；专家数从8到384，Top-k从1到8，部署需关注显存和通信开销。
MarkTechPost 梳理生产环境 7 种 MoE 路由策略，覆盖 Mixtral、Qwen3、DeepSeek-V3/V4、Kimi K2 等模型，指出 Sigmoid 打分加无辅助损失偏置平衡是 2026 年前沿开源 MoE 的主流配方。
Thinking Machines 发布 Inkling 2 Small：594B 总参/17B 激活 MoE，文本+图像输入、1M 上下文，AA 智能指数 31（前代 13），现仅在 Tinker 提供。
百度开源ERNIE 5.5 Flash Base预训练检查点，280B总参数、每token激活14B，43层、训练上下文128K，权重以FP8与BF16发布，可用SGLang、vLLM部署。
招商局狮子山实验室发布具身推理视觉语言模型驭物™Lion-ER-35B-A3B，MoE架构总参数约35B、每Token激活约3B，十项具身基准全部提升，权重已在Hugging Face开源。
Deep Principle 基于 Z.ai GLM-5.3 后训练出 753B 开源权重科学模型 Hydrogen-1.0，面向化学、材料与生命科学，采用 MIT 许可，自报 FrontierScience-Research 得分超 GPT-6-Astra。
inclusionAI 在 ModelScope 上架 Ling-3.1-flash-1019，总参数 560B、每个 token 激活 25B，采用 MIT 许可。
