大模型的效率大战,战场一直设在注意力机制和KV缓存上。FlashAttention一路迭代,稀疏注意力花样翻新,各家厂商比的都是”单Token算得有多快”。
一支来自MIT与DeepMind联合实验室的团队,把目光挪到了文本进模型之前的那道门:分词器。他们在arXiv论文(编号2610.01127)中提出的CNF-MCE框架,把英文文本的Token压缩率最高拉高67.0%。模型权重一个参数没动,训练代码一行没改,推理成本却实打实降了下来。
BPE的五年欠账
过去五年,业界默认的答案一直是BPE(字节对编码)。GPT-2用它,Llama系列用它,Qwen、DeepSeek的高效词表同样建立在BPE的变体之上。
BPE的工作方式像玩乐高:从单字符起步,反复合并高频相邻字节对,每一步都依赖上一步的结果。这种贪心策略有个老毛病——局部最优凑不出全局最优。
论文里举了几个扎心的例子。某短语在网页中出现370万次,BPE照样把它切成三个碎片。Python库名PySimpleSOAP被剁成5个token,人类一眼就能认出的完整语义单元,分词器视而不见。词表里塞满了”ing””ed””un-“这类中间态碎片,真正有价值的语义单元反而挤不进去。
更讽刺的是词表越大浪费越严重。数据显示,词表扩到512K时,BPE实际使用的token占比仅52.9%,近一半词表条目常年”躺平”。
CNF-MCE的两步走
新框架的逻辑分两步,干净利落。
第一步叫CNF(Counting & Filtering),先海选再上岗。它直接扫描32TB训练语料,统计所有合法子串,再用”真实编码中被选中的次数”筛选词表,替代传统的原始出现频次。结果:250K词表利用率飙到96.9%,百万级词表下每个token平均覆盖8.129个字符,BPE同期只有4.869。
第二步叫MCE(Min-Cost Encoding),用动态规划替代贪心切分。整段文本被建模成一张图:位置是节点,词表token是边,边权为编码代价。从句尾反向DP,找出全局代价最低的路径。于是memory_efficient不再被剁成memory、_eff、icient三块,而是优雅拆为memory、_、efficient,下划线保住了独立语义单元的地位。
数据不说谎
六大场景实测:英文网页、PDF、数学公式、GitHub代码、中文新闻、多语言混合文档,mix250k分词器全面胜过qwen250k和o200k_base等主流BPE方案。
几个关键数字值得记住:
- 同一段Python代码文件,token数直降24.5%,推理延迟同步打八折;
- TokEval多语言评测显示字节级压缩率提升23.1%,三位数字边界识别F1值从0.37冲到0.77;
- 8B模型下游基准51.6分,小幅领先BPE基线的51.0分,GSM8K数学推理暴涨17.9个百分点。
压缩没有损伤语义表达,模型反而更聚焦。同一份《纽约时报》长评,BPE切出412个token,CNF-MCE只用298个。
开发者的账本
账算起来很简单。输入序列缩短三分之一,Attention矩阵乘、FFN前馈、自回归解码全部等比例缩水。这是换小排量发动机,省下的每一分算力都直接体现在账单上。
对Python开发者,有三个实际动作:
第一,算清自己业务的Token构成。如果你的应用大量处理代码、公式或混合语言文档,压缩收益会明显超过纯英文聊天场景。用tiktoken跑一遍真实语料,看看重复碎片占多大比例。
第二,关注推理引擎的支持节奏。vLLM和SGLang都已经原生支持DeepSeek-V3、Qwen3-Next、GLM-5这些自带MTP层的模型,一行配置就能激活自投机解码,拿到1.8倍到2.3倍的解码加速。分词压缩加上多Token预测,两层收益可以叠加。
第三,边缘端的机会更大。手机上跑7B模型,响应延迟有望从1.8秒压进1.3秒。同样的32K上下文窗口,能塞进相当于48K token的信息量。端侧Agent开发者应该盯紧下一代分词器的开源进展。
冷静看一句
ConcexTok等基于凸松弛的研究同时提醒我们:在纯压缩指标上,BPE离理论最优的差距比想象中小,大型词表下往往只有1%以内。CNF-MCE的增益来自编码策略、边界处理和下游适配的组合拳。
分词器升级需要重训或至少轻量续训模型,落地周期摆在那里。但方向已经清楚:效率革命正在前移,从”算得快”走向”切得省”。2016年定型的BPE统治了十年,下一个十年,这道安检门该换锁了。
苏公网安备32010502011527号
发表回复