百度发布ERNIE 5.5 Flash Base：280B MoE、激活14B
百度开源ERNIE 5.5 Flash Base预训练检查点，280B总参数、每token激活14B，43层、训练上下文128K，权重以FP8与BF16发布，可用SGLang、vLLM部署。
要点
- 280B总参数、每token激活14B，仅含预训练权重，无中后训练
- 在33.5T token上从头预训练，使用Muon优化器，词表201,216
- 37层采用HCA（每128 token缓存1条），6层用MLA+稀疏注意力
- 百度统一评测中30项基座基准有24项最佳，MMLU-Pro 78.4
- 支持SGLang与vLLM 0.32.0+插件，推理上下文最长1,048,576 token
阅读原文这里是中文要点整理，数字与细节以原文为准。
评论
还没有评论，来写第一条。