大模型走下生产线的瞬间，参数便被固定下来。此后无论用户与它交流多少次、共处多久，这些经历都难以转化为模型自身的能力——想让它记住新东西，只能依靠上下文窗口、检索系统或外部记忆库，模型可以查阅过去的记录，却未必真正学会了什么。北京大学人工智能研究院助理教授张牧涵想改变的正是这一点。他创办的公司无涯智远，正在探索一条不同寻常的路径：让模型在运行过程中把有价值的知识与经验直接写进自身参数，在使用中持续成长。
在中关村科学城组织的ACC2026活动期间，DeepTech与张牧涵围绕大模型的持续学习、实时递归自我改进（RSI）以及个人智能体的走向展开交流。他透露，团队在持续学习方向已经拿到阶段性结果：在目前的内部实验设置下，模型吸收新知识之后，原有知识与通用能力保持得相当完好，连续写入数百K的内容，通用能力几乎没有出现下滑。接下来，这些结论还要在更长时间跨度、更多任务和不同规模的模型上反复验证。
张牧涵的履历横跨学术与工业两端。2011年，他进入上海交通大学电院的IEEE试点班，2015年毕业后赴美，在圣路易斯华盛顿大学师从IEEE会士陈一昕攻读计算机科学博士，用四年时间完成学业。读博期间，他较早投入图神经网络研究，把相关技术从理论、算法一路推进到实际系统应用。
2019年至2021年，他在Facebook总部的AI Personalization团队参与推荐系统研发，这套系统支撑着全球十亿乃至数十亿用户。工程一线的历练让他完成了从理论研究者到生产级产品开发者的转变。不过在当时，AGI对他而言仍是一个遥远的目标，他逐渐明确自己更想钻研的是通用智能的底层问题，于是决定回国进入高校，甚至做好了在实验室做十年理论研究的准备。选择北大，既因为那里的交叉学科底蕴与自由学风，也因为聚集了一批研究前沿问题的同道。
转折出现在2022年底。ChatGPT问世后不到两周，他就在全院做了一场报告，分享自己对这款产品的理解，包括试用中看到的能力与失败案例。那时他还不是规模定律的信徒，说不清这条路线最终成败，但认定这件事不能忽视。此后，他把大量精力转向语言模型，研究它如何训练、怎样设计更高效的架构、推理与泛化的机制，以及可解释性。
这些课题中最吸引他的是上下文学习（ICL）：给模型几个例子和指令，它就能遵循指令、改变行为，展现出某种类似人类的少样本泛化能力。可上下文窗口终归有限，早期普遍只有4K、8K，单轮对话或许够用，持续交互之下窗口装满了怎么办？
扩窗口是一条路，却绕不开成本。在标准全注意力机制下，处理整段输入的注意力计算量随序列长度平方增长，KV Cache也随长度线性膨胀，窗口越大代价越高。团队在高效注意力机制上亦有积累，包括稀疏注意力以及与DeepSeek的MLA（多头潜在注意力）相关的研究——DeepSeek-V4.1-Flash通过高效架构压缩KV Cache、降低长上下文下的注意力复杂度，其技术报告引用了他们近期的工作HISA（分层索引稀疏注意力）。不过在张牧涵看来，继续扩大上下文终究只是阶段性方案。上下文很像人的工作记忆，信息是临时的，换一个窗口往往要重新提供相关内容。一个人如果只有当天的短期记忆，隔天清零，无法形成任何长期记忆，便谈不上学习与成长。模型同样需要把重要、可长期复用的经验沉淀下来。
沿着这条思路，无涯智远的核心技术是超网络——用一个网络为另一个网络生成参数更新。以模型读一篇新文章为例：基座先对内容形成内部表征，超网络再把表征转成逐层的参数更新，加载到基座上即完成修正；此后回答相关问题，不必再把整篇文章放进上下文。传统微调需要针对新材料计算损失、反向传播，经过多轮优化才能得到参数更新，而他们的做法是把“看到新材料后参数该怎么改”这件事，预先通过大量训练学进超网络里。
超网络本身也需要训练：训练时通过下游任务检验生成的更新是否有效，再反向传播改进超网络。训练完成后，每次给基模写入新知识只需超网络做一次前向传播，不再涉及任何传统的多轮反传优化。在最新的27B基模上，短文档内化平均约200毫秒，算上参数导出与加载也只要2秒左右。目前这一过程已扩展到连续内化——第二段材料的学习基于已经更新过的基模，前面的经历会影响后续学习。
早期实验时，团队用八十亿参数的基座模型，从较短文本入手，测试重建、续写和问答，问答时把原文拿走，观察模型能否凭生成的参数更新作答。真正令他兴奋的是，没见过的材料也能写进去；超网络用英文语料训练后，对中文材料同样表现出内化能力，说明学到的写入方式具备跨语言迁移性。他当时主要盯三个指标：新知识能否被正确使用、写入的时间与计算成本、对新内容的泛化程度。论文中呈现了陡峭的scaling law曲线——超网络训练得越多、参数量越大，内化效果越好。如今在内部全部测试集上，内化后的效果已追平把所有内容装进上下文的上下文学习。
这条路要通向实用，绕不开两道坎。其一是在线更新的成本：常规梯度更新需要前向计算与反向传播，还要保存大量中间状态和优化器状态，而且通常反传一次学不会，需要多轮梯度下降才能有效适应；训练与推理所用的基础设施也不同，前者所需的计算量和设备规模高得多。其二是灾难性遗忘：模型学了新的忘了旧的，通用能力下滑，甚至对新知识严重过拟合，退化成复读机。团队曾尝试用实时反向传播把上下文内容写入参数，就撞上了这个难题——训练不足记不住，训练过头只会复述，中间的平衡点很难找。加入旧数据回放可以缓解遗忘，但额外的数据处理与训练又推高成本。成本与遗忘，正是传统持续学习迟迟难以平衡的两大瓶颈。
Real-time RSI是张牧涵给这条路线贴上的标签。他区分了两种自我改进：一种是用AI辅助写代码、写算子、优化基础设施与模型架构、合成数据，加快下一代模型的研发迭代，这也是行业目前的主流关注点；另一种是让模型在两次版本发布之间更及时地吸收经验。现在的模型发布后参数即被锁定，联网搜索、RAG或Harness能帮它获取和调用新信息，但那只是查阅。他希望的，是让一部分经验进入参数，成为后续任务中可复用的内部变化。
“阶跃式更新不太符合我的审美，也不太符合人类的学习方式。”他比喻道，人每天都在积累知识、形成新的认知，而不是每隔几个月升级一次；他每天读新闻、读论文、与人交谈，这些经历会慢慢影响认知、沉淀为长期记忆。所谓Real-time，一方面指经验吸收更及时，另一方面指把频繁更新的成本压下来，不必总依赖高成本的离线重训。此外还有个性化——他在meta做的正是个性化方向，他期待模型本身因人而异，而非所有用户共用同一套参数、仅靠输入不同的上下文来区分。
模型如何从新信息中获得能力，而不只是叠加知识？张牧涵的观察是，知识与能力的边界本就模糊。熟读唐诗三百首，不会作诗也会吟——人在记忆和压缩大量内容的过程中会抽象出规律，信息进入模型参数后，同样可能提取出超越单纯记忆的、可迁移的规律。后训练中的强化学习就是能力从经验中产生的例子：模型不必逐条记住成功或失败的轨迹，而是借助奖励信号调整参数，让自己下次更倾向于高成功率的行为、抑制失败的行为。关键在于如何把知识、轨迹和记忆片段有效内化到参数里。
多模态是下一步的方向。视觉、听觉内容经编码后同样可以表示为token进入上下文，团队希望探索一套尽可能统一的内化机制，从原理上讲就是从token空间到参数空间的映射。多模态内容更容易让上下文迅速膨胀，因此既需要能容纳更长多模态上下文的窗口，也需要快速参数化的能力，这需要在基础设施上做大量优化，不是几个小技巧能解决的。
落到产品上，团队计划先聚焦面向个人的智能模型，让参数内学习与已有的上下文、工具和记忆系统配合。在张牧涵的设想中，在用户自主选择和授权的范围内，模型每天可以接触与你相同的上下文——你看到、听到的内容，你的对话，手机和电脑屏幕上出现的信息，以及你阅读的新闻、文章和书籍；它与你一同经历和阅读，甚至读得更多、更快，在这一过程中与你共同成长。涉及他人的私密信息时，则需要尊重相应的授权与使用边界。
个人智能体的想象空间不止于订机票、订酒店。他回忆在meta时曾与同事讨论过理想中的终极推荐系统：一个极度个性化、真正懂你的模型，甚至比你自己更懂你，因为人有时并不完全知道自己想要什么。当年的用户建模依靠行为记录与痕迹去理解一个人，而个人智能体可以在长期协作中学习用户的偏好、兴趣与任务习惯。它或许能按你喜欢的套路写一部小说，哪怕是爽文，也能创作符合你口味的音乐，甚至生成一款按你喜好编排情节的游戏。今天的书籍、音乐和游戏，大多由作家、音乐人或开发公司先做出来，再供所有人挑选的标准件；如果有一天，内容能专门为你生成，那是另一个维度的想象空间。
这家公司的另一个特点是年轻。团队里有许多00后，有各省高考状元、全国竞赛金牌获得者，还有15岁就进入大学的成员。张牧涵不愿给代际贴标签，说自己心态也年轻，与大家同频。团队技术导向，信息透明，遇到问题直接摆到桌面上讨论，一起看实验曲线、做分析、推导问题，有了结果就热烈交流；他还建立了不少基准测试和指标，持续衡量技术有没有进展。对还在求学的年轻人，他的建议是先把基础打扎实，找到真正感兴趣的问题，保留独立探索的空间。
谈到大厂与初创的竞争，他认为初创的优势在于小而精，可以集中火力做好单一技术突破、深耕某一个领域。拼算力和人才总量很难有优势，所以必须押注差异化的东西——他们押的是学习范式上的创新。他也认为当下仍是鼓励初创的时代，新的技术突破未必只发生在大厂内部，小公司同样有机会抓住窗口、快速迭代，走出一条不同的路。
面对竞争激烈的行业，他给年轻人的第一条经验是诚实面对自己，认真看见自己的缺陷。人有本能的防御和逃避机制，事情没做成，很容易先归咎于外界；无论多聪明、履历多出色，肯定都有不足，成功与失败也含不少偶然因素，只有正视这些，才有机会继续进步。诚实面对自己，也意味着诚实面对技术，不被表面的成绩冲昏头脑，在浮躁的表象背后看到更本质的问题，长期主义地做好一件事。学术诚信是最基本的底线，在这之上还要诚实衡量自己的判断与成果，才有机会真正突破上限。
另一条坚持是感恩。上海交大的校训“饮水思源”对他影响很深，一路走来有许多人帮助过他，不能忘本；当年选择回国，也是希望参与推动这个领域在中国的进步。他并不避讳自己的风格——有的投资人觉得他太实在、不太会吹，但他不想改变这一点。
