11 月 5 日，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。模型采用 MoE 架构，总参数量 2800 亿，每个 Token 激活 140 亿参数，使用 33.5 万亿个 Token 完成预训练，预训练上下文长度最高达 128K，微调与推理阶段支持最长 100 万 Token 上下文。
据介绍，ERNIE 5.5 Flash Base 没有经过任何中训练和后训练——这是个纯粹的预训练终点 checkpoint。
这个定位值得先说清楚。开源界现在有两种做法：放完整可用模型，或者放基座。百度选了后者，理由写在开头："一个 Base 模型的价值，既在于预训练建立了怎样的能力基础，也在于它为后续训练提供了怎样的起点。"
换句话说，他们想让人拿这个权重去做领域适配、指令微调、推理强化，而不是直接拿来聊天。
架构：把效率写进每一个组件
这代最核心的设计取向就一个词——效率。而这个取向不是抽象口号，它体现在六七个具体的结构选择上。
混合注意力（MLA + HCA）
43 层 Transformer 里，只有每七层保留一层做全上下文的 token 级访问（用 MLA 多头潜在注意力）。剩下 37 层用重度压缩注意力（HCA）：每 128 个 token 压缩成一条缓存条目，只在这压缩序列加最近一小段未压缩 token 上做稠密注意力。
效果是：HCA 层只需要全上下文层 KV cache 的一小部分，就能保留对整个序列的全局视野。
还有个反常规的细节——头维度不统一。HCA 层计算量小，用 512 维的宽头；MLA 层逐 token 访问、计算量大，用 256 维的窄头。"计算量小的层用大头，计算量大的层用小头"。这个思路跟直觉相反，但符合计算预算分配逻辑。
全上下文那 6 层还用了稀疏注意力（DSA）：轻量 indexer 给历史位置打分，核心注意力只在 top-k 上算，每个 query 的注意力开销不再随上下文长度增长。官方说采用 DSA 后预训练 loss 与稠密注意力持平，训练速度显著提升。
Multi-Router Latent MoE
传统 MoE 用一个路由器给专家打分，一次硬 top-k 选出专家。百度发现"这个打分与专家的实际效用只是弱相关，中深层尤其明显"——落选专家拿不到该 token 的梯度，选错就很难纠正，错误会不断自我强化。
他们的改法是让多个独立初始化的 sigmoid 路由器一起打分。一个专家只要被某个路由器强烈看好，或被几个同时看好，就有机会入选。激活专家数、专家 FLOPs 和通信量跟单路由器完全一样，但路由打分与实际效用的相关性明显提升，中深层提升最大。
MoE 层配置：512 个路由专家选 10，外加 1 个共享专家。每个 MoE 层先把 token 从 4096 维投影到 2048 维隐空间再算，dispatch/combine 通信量与专家 FLOPs 约减半。
其他几个效率改进
低秩门控注意力：门控注意力的门原本用隐状态算，他们改成用每个注意力层本来就会生成的低秩 query latent 来算（维度只有隐状态的四分之一），门投影的权重参数量减少 75%，消融实验里效果还更好。
MultiMax 输出头：单一 softmax 温度顾不了两头——调低会把合理候选也压掉，调高又抬高不合理 token 的长尾。MultiMax 用可学习的分段温度打破这个取舍，在分块、Triton 融合的交叉熵 kernel 内、softmax 之前逐元素调制，不增加显存但显著降低预训练 loss。
ECHO 取代 MTP：传统多 token 预测要额外挂专用模块，多步损失只监督那些模块。ECHO 直接复用主干最后一层做未来预测，多步损失直接作用于生成下一个 token 的参数，"促使主干提前规划序列的后续展开"。
分词器：全新 BPE，词表约 200K。数字采用从右到左、最多三位一组的切分（1,234,567 → 1 234 567），让不同长度数字的数位对齐，有利于算术。
训练：Muon 优化器 + 自研注意力算子
33.5T tokens，Muon 优化器，FP8 混合精度。训练上下文逐步扩展到 128K，微调和推理支持 1M。
基建部分有两个自研成果值得单说：
分布式 Muon 优化器。Muon 采用逐张量正交化更新，通信模式和显存分布都跟 Adam 不同。他们做了两件事：把 Dense 参数通信从跨机大环改走跨机同号卡路径，并把 Dense 与 MoE 的同号卡通信融合成单次集合通信；另一个是节点间均衡切分，避免大量参数堆在靠前的卡上导致显存失衡和 OOM。
FlashMask-4。基于 CuTe-DSL 实现，同时支持 SM90 和 SM100。支持到 qk_head_dim = 576、v_head_dim = 512 的规模——这个规模 FlashAttention-4 不支持。在 SM100 上相比 FlashAttention-4 前向性能提升最高 175%，反向提升最高 74%。
评测：全面对比同级开源基座
这部分数据最实在。百度直接把 DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）拉进来，同一评测框架、相同 prompt 和 few-shot，自由问答题用同一个裁判模型。
几个关键对比：
| 基准 | ERNIE 5.5 Flash | DeepSeek V4 Flash | Hy3 preview | MiMo V2.5 |
|---|---|---|---|---|
| MMLU | 93.3 | 89.4 | 87.5 | 87.6 |
| MMLU-Pro | 78.4 | 69.2 | 66.9 | 65.7 |
| GPQA | 60.2 | 55.9 | 50.2 | 51.4 |
| MGSM（8-shot CoT） | 87.0 | 84.6 | 76.9 | 83.8 |
| HumanEval+ | 82.3 | 69.5 | 78.0 | 74.4 |
| MBPP+ | 81.5 | 67.2 | 78.3 | 74.3 |
| LiveCodeBench | 40.1 | 31.9 | 33.5 | 32.4 |
| RepoQA | 91.7 | 81.0 | 91.3 | 56.5 |
代码类提升最明显：HumanEval+ 比 DeepSeek V4 Flash 高 12.8 个点，MBPP+ 高 14.3 个点。MMLU-Pro 高 9.2 个点。
知识类有输有赢：SimpleQA 34.1 领先（DeepSeek 29.1），但 ChineseSimpleQA 73.0 略低于 DeepSeek 的 75.3。长上下文里 HELMET-Rerank 56.2 也输给 DeepSeek 的 60.0 和 MiMo 的 56.6，InfiniteBench 46.5 也低于 DeepSeek 的 48.0。
不过有意思的是，43 层里有 37 层是 128 倍压缩的 HCA，只有 6 层是 MLA-DSA，长上下文还能打到这个水平——这说明压缩注意力的设计是成立的。
怎么用
Hugging Face 上以 ERNIE 5.5 Flash Base Model License Agreement v1.0 发布，提供 FP8 和 BF16 两版 safetensors 权重（BF16 版叫 ERNIE-5.5-Flash-Base-BF16）。
Base 模型要求每条输入以 BOS token 开头，分词时保持 add_special_tokens=True。SGLang 和 vLLM 都能通过 completions API 提供服务。
代码很简单：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model_inputs = tokenizer(["ERNIE 5.5 Flash 的混合注意力结构"], add_special_tokens=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(model_inputs, max_new_tokens=256)[0], skip_special_tokens=True))
一点判断
这个 release 有意思的地方不在跑分，在设计哲学的一致性。
大部分开源基座的做法是先堆参数、再优化推理。ERNIE 5.5 Flash 反过来——从注意力、残差连接到 MoE 层和输出头，每个组件都在问同一个问题："这个设计在后续训练和长上下文处理里要付多少代价？"
每 token 只激活 14B 参数，KV cache 占用还小，这意味着微调和部署的门槛都降下来了。对一个"供社区做后续训练"的 Base 来说，这比多几个 benchmark 分数更有意义。
当然，Base 权重不经过后训练，直接拿来用效果不会好。百度自己也说"经过后训练的 ERNIE 5.5 Flash 将随后推出"。所以现在这个版本，真正能吃下的是有训练能力的团队。
参考来源