百度开源文心5.5 Flash Base：2800亿参数只激活140亿，同尺寸SOTA背后的效率账本

11月5日，百度把文心5.5 Flash Base的预训练权重直接搬上Hugging Face。总参数2800亿，每个Token只激活140亿，在33.5万亿Token上从零预训练。百度公布的评测显示，它在推理、代码、学科能力和长上下文上拿下同尺寸SOTA，代码基准HumanEval+比DeepSeek-V4-Flash-Base高出12.8个百分点，MBPP+高出14.3个百分点。

这不是一次普通的开源。百度放出的Base权重没有经过中训练和后训练，相当于把整条生产线交给开发者，再交出”往哪个方向训练”的决定权。经后训练的文心5.5 Flash正式版随后就到。

280B-14B：参数不再说明一切

文心5.5 Flash Base采用稀疏MoE架构，43层Transformer、Hidden Size 4096、64个注意力头。512个路由专家每次选10个，外加1个共享专家。这个配置跟DeepSeek-V4-Flash（284B总参数、13B激活）、Hy3-preview（295B、21B激活）、MiMo-V2.5（310B、15B激活）落在同一档位。

总参数接近，比拼的自然转向效率。百度把”每Token效率”当成预训练的设计变量，从注意力机制、专家路由到训练目标，做了三处硬改造。

37层省缓存，6层保精准

第一处改造在注意力机制。模型用HCA（重度压缩注意力）和MLA（多头潜在注意力）组成混合稀疏注意力，43层里37层用HCA，每128个Token压成一条缓存条目，注意力只在这些”摘要”和最近一小段未压缩Token上计算。KV Cache开销大幅下降，全局视野保住了。

压缩有代价。找原文细节的任务需要逐Token访问历史，模型保留6层MLA负责精准检索，配DSA稀疏注意力：轻量级Indexer先给历史位置打分，核心注意力只算得分最高的Top-K位置。百度披露，用DSA后这6层的预训练Loss与稠密注意力持平，训练速度明显提升。官方还称，低秩门控注意力让门控投影权重参数减少75%。

这套设计的意图很清楚：让大部分层看摘要，少数层查原文，别让长上下文的账单失控。

专家路由从”一票定”到”多票合”

第二处改造在MoE路由。传统MoE用单个路由器给专家打分，一次硬Top-K定人选。文心团队发现，打分与专家实际效用只是弱相关，中深层尤其明显；落选专家拿不到梯度，选错会不断自我强化。

文心5.5 Flash Base引入Multi-Router Latent MoE，多个独立初始化的Sigmoid路由器共同打分，专家被任一路由器强烈看好即可入选。路由打分与专家效用的相关性明显提升，中深层提升最大。激活专家数、专家FLOPs和通信量与单路由器完全相同，稳定性上去了，成本没涨。

专家计算本身也压缩了：Token先从4096维投影到2048维隐空间，专家在隐空间完成计算再映射回去，专家FLOPs和通信量约减半。

ECHO：主干网络自己学”提前想”

第三处改造是训练目标。业界常见的多Token预测（MTP）在主干外挂专用模块，多步预测的损失主要作用于新增模块，主干各层还是只服务下一个Token。

ECHO直接复用主干最后一层预测未来Token，不增加任何参数。多步预测的损失直接作用在生成下一个Token的参数上，主干网络提前学习序列的后续展开。附带收益是这一层能当投机解码的内置draft模型，接受率高于同样方式训练的外挂MTP模块。

Agent应用反复调用模型、拖着长上下文跑多轮推理，KV Cache、重复计算、推理延迟一路累积。训练期的未来预测与推理期的加速在这里接上了。

33.5万亿Token的”三驾马车”语料

预训练数据重点建设三类。网页数据靠多语言抓取、高保真正文抽取和模型驱动的多维质量过滤，撑知识覆盖。代码数据补充commit、issue、pull request、代码评审、需求到PR、多commit轨迹、自动生成测试和经CI验证的修复，撑工程能力。长文数据用天然长文档、拼接语义相近干扰文本、合成MRCR式检索和多跳问答，撑长上下文。

仓库级代码和长程依赖这类能力，后续补数据很难弥补，预训练就得打牢。

工程侧同步升级：分布式Muon优化器把Dense参数与MoE参数的跨机通信合并成一次集合通信；FlashMask-4注意力算子基于CuTe-DSL实现，支持SM90与SM100架构，head dim最高576。输出头用MultiMax压制不合理Token的长尾，R2L分词器词表约20万，数字从右到左三位一组切分，专治算术任务。

Base权重的价值与边界

开源入口覆盖主流生态：Hugging Face提供FP8和BF16两版权重，vLLM提供专用插件，SGLang给出部署Cookbook，NVIDIA NeMo的Megatron-Bridge提供微调示例。

价值在于统一起点。有领域数据和后训练能力的团队，可以在这套权重上做行业模型、推理强化、Agent训练；做评测研究的团队，能在同一初始条件下对比不同后训练策略。没有训练能力的团队，等正式版或直接调API更划算。

边界也要看清。同尺寸SOTA是百度组织的厂商口径评测，同一套框架不等于第三方独立复现，Base模型的后训练差异会显著改变下游表现。把它当选型初筛信号，在自己的任务集上复测，才是稳妥做法。

底座竞赛换赛道

国产基座模型的竞争已经从比参数规模转向比每Token激活效率、长上下文成本和底座可复用性。280B/14B激活这个档位已经站了四家厂商，比较维度自然转向数据质量和工程效率。

谁把效率设计沉淀进预训练，谁就掌握后续迭代的主动权。Base只是开场，正式版才是百度真正的答卷。