机器人操作模型的视频分支里,个别空间位置的数值会长期高出周围约十倍。研究团队在FastWAM上反复看到这一现象:换画面、换任务,异常位置仍大致固定。把K/V缓存中对应位置遮住后,动作预测会出现稳定变化;在98个空间位置里,这些位置的敏感度大约排在第15位。它们不是任务物体那样最强的影响源,却持续参与动作决策。
世界动作模型(WAM)把“看懂场景会怎样变化”和“决定下一步动作”放在同一套系统中学习。其常见结构由Video DiT和Action DiT组成,前者处理画面并预测后续变化,后者输出机械臂动作,两者通过K/V缓存传递信息。FastWAM沿用了这一框架,视频分支把整理后的表征交给动作分支,动作分支不必每步重新理解整幅画面。研究团队关心的是:视频分支提炼出的内容,怎样变成动作分支可用的信息。
异常值起初像是数值层面的瑕疵。可遮挡实验改变了判断:被遮住的并非无意义位置,遮住后动作结果会变,而且变化在多次测试中较稳定。研究团队又追踪这些数值从原始状态到进入动作模型前的路径,发现归一化和投影之后,键与值的量级已回到正常范围,夸张差异基本消失。数值表面被磨平,位置对动作预测的影响力却保留下来。
只加寄存器,异常值并未彻底消失。网络中间层的高数值被压下去,到最后一层又冒出来,并与寄存器的高数值混在一起。研究团队随后给当前画面的空间token增加一项约束:在零噪声水平下做流匹配预测,要求这些token能够重建当前帧。加入这项观察流匹配损失后,最后一层空间token的异常值消失,高数值集中到寄存器上。单独开新位置不够,还要用训练目标迫使空间token回到描述画面本身的工作。
对照实验给出了分阶段效果。原始FastWAM成功率为53.64%;只加8个寄存器、不加观察损失,成功率为54.18%,提升有限;不加寄存器但加入观察损失,成功率升到58.07%;寄存器和观察损失一起使用、且让动作模型只读取寄存器时,成功率落在59.56%至62.45%之间,4个寄存器时表现最好。寄存器数量并非越多越好,1个、4个、8个、16个、64个都试过后,4到8个较合适,继续增加反而下降。
动作模型读取视觉信息的方式也做了比较。只读寄存器与同时读取原始空间token和寄存器,表现接近;研究团队选择只读寄存器,原因是动作模型在迭代去噪生成动作时要处理的视觉信息更少,计算负担更轻。寄存器之间没有人为设定的明确分工,附录中的注意力可视化里,不同头关注的画面区域并不相同,有的偏向机械爪,有的偏向盘子,这种差异目前更像训练中自行形成。
研究团队还把“理解当前画面”从被动输入改成主动考题。做法是往当前画面的隐变量里掺入一定比例高斯噪声,再要求网络从被污染的输入中推算出干净画面,这项噪声化观察流匹配损失专门用于打磨视频分支参数,不增加动作模型的信息入口。噪声水平σ需要适中:σ为0.25时成功率76.14%,σ为0.5时达到82.52%。题目太轻,网络可能只是转发输入;题目太重,又可能学偏。
RegisterWAM把四项损失加权组合在一起:动作去噪损失、当前画面重建损失、未来画面预测损失、噪声复原损失。在LIBERO-Plus的10030个测试回合上,RegisterWAM总体成功率为81.64%,没有使用额外具身预训练数据,也没有引入外部基础模型。FastWAM为51.5%,Faster-WAM约73.6%,PILOT为81.0%。在背景变化和噪声干扰两类条件上,RegisterWAM分别达到87.9%和85.1%。
RoboTwin 2.0的双臂操作测试中,RegisterWAM在干净场景为92.9%,域随机化场景为93.0%,平均93.0%,略高于FastWAM的91.9%和Faster-WAM的92.6%。真实双臂机器人平台的三摄像头测试包含装电池、叠碗叠杯、递瓶子,以及改变桌高、更换桌布颜色、加入干扰物等条件。整体任务得分从FastWAM的0.3483提高到0.5238,六个场景中五个提升;换蓝色桌布时两个模型都为零分,外观大幅变化仍是共同难点。
在ImageWAM上,同样的寄存器和观察损失设计把平均成功率从83.10%提高到85.42%;该模型以FLUX.2图像编辑模型为底座,换用图像编辑架构后,性能仍沿相近方向变化。

