大模型出厂就定型？北大张牧涵用超网络把新知识写进参数，一次学习只要200毫秒

大模型有一个藏了很久的尴尬：参数在下线那一刻就被锁死。此后你跟它聊一万次，它查一万次资料，这些经历都沉淀不进模型本身。想让它记住新东西，只能靠上下文窗口、RAG、外部记忆库三件套，模型翻着过去的记录答题，自己却没真正学会什么。

北京大学人工智能研究院助理教授张牧涵创办的无涯智远，正在换一条路走：让模型在运行过程中，把有价值的知识和经验直接写进自己的参数。这家公司给这套技术贴的标签叫 Real-time RSI——实时递归自我改进。

上下文是工作记忆，参数才是长期记忆

张牧涵的判断来自一个类比：上下文窗口很像人的工作记忆，信息是临时的，换个会话就要重新喂一遍。一个人只有当天记忆、隔天清零，谈不上学习和成长。模型同样需要把重要经验沉淀成”长期记忆”。

扩窗口是行业主流方案，但成本绕不开。标准全注意力机制下，计算量随序列长度平方增长，KV Cache线性膨胀。这个团队在高效注意力上有积累，DeepSeek-V4.1-Flash 的技术报告就引用了他们的 HISA（分层索引稀疏注意力）工作。不过在张牧涵看来，继续扩窗口只是阶段性方案，真正的出路在参数侧。

超网络：用一个网络给另一个网络”做手术”

无涯智远的核心技术是超网络——用一个网络为另一个网络生成参数更新。流程大致是这样：基座模型先对一篇新文章形成内部表征，超网络把表征转成逐层的参数更新，加载到基座上，知识就写进去了。此后回答相关问题，不用再把原文塞进上下文。

传统微调要算损失、反向传播、多轮优化；他们的做法把”看到新材料后参数该怎么改”这件事，预先通过大量训练学进超网络里。训练完成后，每次写入新知识只需要超网络做一次前向传播。

数字很能说明问题：在27B基座模型上，短文档内化平均约200毫秒，算上参数导出和加载也只要2秒左右。早期用80亿参数基座实验时，英文语料训练的超网络对中文材料同样能内化，说明写入方式具备跨语言迁移性。论文里还有一条陡峭的scaling law曲线：超网络训练得越多、参数量越大，内化效果越好。目前内部测试集上，内化后的效果已经追平把全部内容装进上下文的ICL方案。

两道坎：成本和遗忘

这条路要通向实用，先要迈过两道坎。

第一是在线更新的成本。常规梯度更新需要前向计算加反向传播，还要保存大量中间状态和优化器状态，而且反传一次往往学不会，得多轮迭代。训练和推理的基础设施也不通用。

第二是灾难性遗忘。模型学了新的忘了旧的，通用能力下滑，严重时对新知识过拟合，退化成复读机。团队曾尝试用实时反向传播写入参数，正好撞上这个难题——训练不足记不住，训练过头只会复述。加旧数据回放能缓解遗忘，但额外的数据处理又推高成本。

阶段性结果给了他们信心：内部实验设置下，模型连续写入数百K的新内容，原有知识和通用能力几乎没有下滑。这些结论还要在更长时间跨度、更多任务和不同规模的模型上反复验证。

这件事为什么值得盯

行业现在关注的是另一种自我改进：用AI写代码、优化算子、合成数据，加快下一代模型的研发。张牧涵瞄准的是两次版本发布之间的空档——让模型在服役期间持续吸收经验，而不是每隔几个月等一次大版本升级。他说阶跃式更新不符合人类的学习方式：人每天都在积累，经历会慢慢沉淀为长期认知。

产品落地的方向是个人智能模型。他的设想是在用户授权范围内，模型每天接触和你相同的上下文——你的对话、屏幕上的信息、读过的文章——在与你共同经历的过程中长成”你的模型”，参数因人而异，所有用户共用一套权重加上下文区分的模式可能被改写。

对开发者来说，从token空间到参数空间的统一内化机制，多模态内容如何快速参数化，这些方向都值得关注。持续学习如果能跑通，RAG和微调的边界会重新画，成本结构也会跟着变。一家小而精的初创押注学习范式的创新，比拼算力拼不过大厂，这条路能不能走通，2027年前后应该能见分晓。