训练大模型学新技能,一定要往参数里写入新数值吗?纽约大学和卡尔加里大学的研究团队给出了一个反直觉的答案:把不到0.05%的权重直接置零,模型就能学会新能力,效果追平全参数微调。
这篇论文叫《The Surprising Effectiveness of Deleting Weights in LLM Post-Training》,2026年11月7日挂上arXiv(编号2611.10866),入选NeurIPS 2026。一作Jack Lu在11月10日把方法命名为Deletion Tuning,称它是”通往持续学习的一步”。
一个bit的”适配器”
Deletion Tuning的做法听起来简单到让人怀疑。预训练权重完全冻结,训练过程只学习一个二值掩码:每个权重要么保留原值,要么被置零。部署时,适配器里每个权重只占一个bit。
数字差距悬殊。Llama 3 8B上,这个掩码压缩后只有8.4 MB;同任务的全参数微调检查点(fp32存储)是30633 MB,相差3600倍以上。换成Qwen3-30B-A3B混合专家模型,掩码29.6 MB,对上116471 MB的微调检查点,差距约3900倍。连rank 1的LoRA适配器(10.0 MB)都比它大。
数据表现:越大的模型越接近全参微调
团队用GRPO强化学习、监督微调、在线策略蒸馏三种后训练范式做了验证,覆盖Llama 3到Qwen3共9个模型,规模从0.5B到30B。
GSM8K数学基准上,Llama 8B经Deletion Tuning拿到83.55%,全参数微调83.24%,还高了0.31个点。Qwen 7B、14B和30B MoE同样追平。小模型上能恢复全参微调90%到99%的精度,团队结论是”模型越大,删除越有效”。
新能力是真的。pass@128采样下,Llama 8B基础模型能解出95.29%的GSM8K题目,Deletion Tuning版本达到99.62%。基础模型128次尝试全失败的一些题目,删除训练后能做对。
掩码初始化借用了Wanda剪枝的打分。单独跑Wanda剪枝,精度最多变化2.4个点;训练这个掩码,最多涨53.2个点。收益来自学习过程,来自模型自己挑出哪些权重该删。
意外收获:旧本事几乎不丢
灾难性遗忘是微调的老毛病。团队在数学训练过程中持续监测6项旧任务(HellaSwag、MMLU、TruthfulQA、WinoGrande、IFEval、HumanEval)的表现。
全参数微调在旧任务上掉了1.3到3.1个点,LoRA和随机稀疏微调最多掉5.4个点。Deletion Tuning全程保持在基础模型1个点以内,前向KL散度也几乎不动。
原因藏在更新几何里。论文用稳定秩、谱漂移、主权重重叠三个指标对比各方法的权重变化,Deletion Tuning在三项指标上都最接近全参数微调,谱漂移只有FFT的1.4倍以内。
开发者的三笔账
第一笔存储账。服务多客户定制模型时,一份底座权重配几百个小掩码,按需热切换。一个Llama 8B微调检查点的磁盘空间,能装下约3600个任务掩码。
第二笔遗忘账。企业级场景要求模型”学会新技能、不丢老本事”。客服模型叠加金融问答能力,传统微调要做数据混合和回放训练,Deletion Tuning天然接近零遗忘。
第三笔动手账。代码已在GitHub开源(agentic-learning-ai-lab/deleting-weights),训练掩码的流程接进GRPO和SFT管线即可,一张A100跑7B模型的实验成本不高。中小团队可以先在自己的任务上复现GSM8K级别的结果,再评估是否替换现有LoRA方案。
一点冷思考
论文测试集中在数学推理任务,写作、多轮对话这类生成型任务还没验证。0.05%的删除上限在小模型上仍有精度缺口。作者自己说,下一步是在一串任务上做持续学习,并尝试把多个任务的掩码合并。
方向已经清楚:后训练可以靠”选择”完成,靠挑选要删的权重完成。对每天跟模型打交道的企业来说,定制化成本从GB级降到MB级,这条变化足够改变很多人的技术选型清单。
苏公网安备32010502011527号
发表回复