在多智能体强化学习的论文里,MAPPO常被当作对照基线出现。它没有设计复杂的新结构,做法是把PPO的训练细节、参数设置和实现环节逐一打磨,让这套已有算法在协作任务中稳定发挥作用。论文引用量已接近5000次,而它的主要推动者于超,如今是清华大学深圳国际研究生院助理教授、博士生导师,也是物理智能公司正行创新的联合发起人。
于超不认为自己属于天赋型研究者。她早期做科研时,判断问题价值的能力并不成熟,很多认识是在反复试错中形成的。MAPPO给她的冲击在于,一项工作是否有意义,不能只看能否发表,还要看它能不能真的解决别人遇到的问题。
她近年的另一组工作,把这种判断带到了真实机器人上。团队让上百台机器人参与学习,提出群体经验学习,让机器人在少量人类指导之后,从同伴的成功操作中继续寻找办法。手机打包任务里,参与训练的机器人从16台增加到96台,成功率从86.7%升到98.3%。测试阶段使用了没有参与训练的机器人,120次操作只失败两次。于超更看重后一点:模型能否把学到的能力迁移到其他本体。
这套方法最初的动因并不复杂。仿真能同时运行成千上万个环境,真机实验却常停留在一台或少量设备上。她想试试,几十台、上百台真实机器人一起学习会怎样。真正动手后,制造一百台机器人并不是最难的环节,更难的是现有学习方法对人类指导的依赖。机器人抓杯子失败后,通常需要操作员接管、示范正确动作,再让机器人从这段经验中学习。规模一旦扩大,就需要大量熟练操作员及时纠错。
这样的人并不好找。一个任务最多能找到八名比较熟练的操作员,能稳定高质量完成示范的通常只有三人,团队内部玩笑称他们为“遥操三剑客”。当机器人数量增长,人类能提供的高质量经验反而成了瓶颈。于是团队换了思路:在少量人类指导帮助机器人建立基础能力后,让机器人从其他机器人的成功经验中继续学习。一台机器人卡住时,另一台可能已在相似场景中成功过,若能检索并共享这些经验,整个群体就可能找到解决办法。
实验早期并不顺利。团队按常规先做小规模验证,四台机器人参与学习时,效果反而下降,这让他们一度怀疑方法是否成立。碰巧有一批机器人空出来,他们扩大了测试规模,算法表现才开始改善。团队分析,群体经验学习依赖从其他机器人经验中检索有用信息;机器人少时,成功经验的数量和多样性都不够,难以覆盖足够多的任务状态。规模扩大后,不同机器人会遇到更多样的情况,经验库更丰富,遇到困难的机器人也更容易找到相似场景下的有效操作。这个插曲让他们意识到,依赖群体经验的方法在小规模实验里未必能充分展现潜力。
她并不打算立刻继续堆机器人数量。相比把规模推到更高,她更想把这些机器人放到室外或更杂乱的真实环境中,完成更复杂的任务,看看现有方法在哪些地方失效,又会遇到哪些新问题。
回头看,她的求学轨迹并不笔直。本科在北京理工大学学自动化,后被保送到清华大学机械工程系,跟随刘辛军做机器人研究。实验室以机器人本体设计见长,刘辛军希望机器人不止有机械结构,也要有智能,于是她开始接触图像识别、高速分拣,又把深度学习和SLAM结合到机器人导航中。硕士毕业后,她进入清华电子工程系,在汪玉指导下研究协同智能。机器人本体、感知、决策三个方向摆在她面前,她判断自己在机械上积累不够,感知领域又已有大量优秀研究者,最终选择了决策,也就是多智能体强化学习。吴翼后来成为带她做研究的重要老师。
MAPPO的投稿经历并不顺利。审稿意见中,有人认为这项工作只是把已有算法调得更好,缺少醒目的理论创新。那时她科研经验有限,也不太会把这类工作讲成一个有吸引力的故事,甚至担心论文发不出来会影响毕业。有朋友建议补一些理论证明,增加发表机会,她确实动摇过。吴翼提醒她,要先想清楚做研究的目的:发表当然重要,但真正关键的是工作有没有给领域留下价值。后来,MAPPO在正式发表前已被不少同行使用,反馈也不错。汪玉也没有催她尽快出论文,而是允许她花较长时间把一件事做扎实。
这种取向延续到了RLinf。它是一个面向大规模强化学习训练的开源框架,维护社区需要长期投入,也挤占了她原本可以写论文的时间。她承认,在国内现有评价体系里,这类工作如果没有对应论文,未必能获得同等认可;但她仍认为基础设施值得做。对她来说,更难的是找到真正有价值的问题,并有定力持续做下去。
另一条线索来自大模型。团队里一名学生用Codex搭出一套Agentic系统,演示时没有先解释实现方式,于超先看到的是很强的泛化能力。讨论之后,他们想到把Coding Agent的高层规划、VLA的精细控制以及基于代码的控制策略拼在一起,让不同模型各做擅长的事。7月,团队把Harness VLA放到arXiv上。于超当时提出,具身智能或许正在进入Token时代:机器人能力提升会越来越多地借助云端大模型,而不只依赖本体上的模型训练。
她还把经验分成内化与外化两种路径。强化学习通过训练改变神经网络参数,把学会的任务存进模型,这是内化;把经验放进外部数据库,遇到类似任务时再检索调用,这是外化。过去的外化方式更像查表,效率有限,经验也难以组织;大模型的长上下文和任务理解能力增强后,外挂记忆才变得更可行。她认为两种路径并不冲突,未来的Agentic Robotics系统很可能要把参数训练与外部记忆结合起来。
9月GPT-6 Astra发布后,通用大模型在机器人任务规划上的表现让领域气氛明显变化。于超说,自己一方面松了口气,因为团队此前跳出既有范式探索Agentic Robotics,最担心的是给学生指错方向;另一方面,越来越多团队涌入这个方向,也让研究节奏骤然加快。她看到,通用模型在任务理解、规划和工具调用上很强,但抓取、插入等精细操作仍有短板,这也是Harness VLA试图让专用模型与通用模型分工的原因。
随着研究越来越依赖真实数据、硬件和算力,于超开始参与创办正行创新。汪玉曾对她说,做的东西既要能上书架,也要能上货架。读博士时,她更多做到前一半:论文能发、代码能开源,但如何变成真实世界里的产品,她并不清楚。做具身智能后,她感到高校实验室很难独自支撑大模型训练所需的资源,机械、电机、制造也需要更专业的力量;工业界还能提供真实问题,而实验室里想象的问题有时与现场需求相差很远。公司与高校因此形成分工:需要大量算力和数据的基础模型预训练更多放在公司,距离工业应用尚远的Agentic Robotics探索更多留在高校。
真机实验做得越多,她越觉得评测比想象中复杂。桌子高度、物体位置、光照色温和色差,都需要按标准控制;机器人运行一段时间后温度上升,电机性能、控制精度和稳定性也可能变化。她听过一个例子:实验室里一台机器人拉上窗帘时成功率高,打开窗帘就不行,起初大家以为是视觉受光照影响,后来才发现可能是阳光照射让温度升高,进而影响本体性能。类似变量常被做智能的研究者忽略。同一台机器人在训练和测试时状态稍有变化,结果就可能不同,因此测试本身也是一项耗费人力的工程。
她也从日常观察中找类比。小孩学搭积木,起初不知道形状该放在哪里,经过演示和鼓励,过一阵可能突然自己掌握。于超觉得,人类儿童通过交互、尝试和反馈调整行为,与强化学习的一些思路相通,但学习效率远高于当前机器人模型。小孩背古诗时,给出前几个字就能接出后文,也让她联想到大语言模型中的Next Token Prediction。她并不认为两者机制相同,只觉得人工智能里的学习方法有时能在人类学习中找到相似的影子。
如果被问到最希望机器人学会什么,她提到照顾孩子。这项任务对安全的要求极高,机器人要有精细、轻柔的动作控制,能及时应对突发情况,还要理解孩子的需求并作出恰当回应,甚至提供一定程度的情感陪伴。她坦言,目前距离这样的机器人还很远,能否在可见的时间内实现也没有确定答案。
现实与仿真的距离仍然摆在那里。于超比很多人都希望仿真数据能替代部分真机实验,因为团队本身就在做大规模强化学习系统;但实际测试中,摩擦力的细微差异就很难模拟,真实物体表面每个位置的摩擦情况都可能不同。团队曾准备五六套算法,在仿真里表现不错,搬到机器人上却接连失效。她因此把仿真当作筛查步骤:仿真里都跑不通的方法,真机成功的可能性通常很低;仿真里有效,也不能保证真实世界一定有效。