ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

用扩散模型生成整段动作 机器人规划兼顾长远与计算效率

时间:2026-11-16 23:38:19来源:互联网编辑:快讯

在连续控制与机器人操作任务中,长期规划与计算效率的矛盾一直难以绕开。单步价值估计传播慢,整段轨迹优化又代价高昂,哈佛大学团队提出的GTP试图在两者之间另辟路径:先用扩散模型生成一整段动作序列的候选,再对这些候选做局部细化,让机器人不必每次从零求解高维规划问题。

传统时序差分方法只把一步奖励与对下一步的猜测拼接起来,信息在向前传递时不断衰减。可以把它想成一个只汇报当前小时进度的人,很难据此判断三个月后的项目成败。轨迹优化看上去更有远见,却要在每一步重新求解非凸优化问题,容易陷入局部解;在线场景中,学到的动力学模型还会随规划步数增加而累积预测误差,优化器甚至可能利用这些误差构造出看似漂亮、实际不可行的动作方案。

GTP的做法是先训练一个提案生成器,让它直接给出若干看起来合理的动作序列,再从中挑选并打磨。扩散模型在这里承担“整段动作模板库”的角色,学习的是未来一段时间内动作如何连贯展开,而不是孤立地决定下一步。论文用传统交叉熵采样方法CEM-MPC作对照:没有扩散先验、直接从高斯噪声里猜整段动作时,同样机器人任务上的表现明显落后,有些任务成功率不到十分之一。

候选方案产生后,GTP用波束搜索和扩散细化反复迭代:先给一批候选打分,保留分数较高者;再把候选的未来部分重新加噪、去噪,同时固定已经确定的过去部分;随后继续打分、淘汰、细化。打分依赖三个学习模型,分别预测动作后的世界变化、单步奖励和长期价值。动力学部分并非单一网络,而是五个独立训练的模型组成的集成:五个模型判断一致时,说明该区域较可信;分歧明显时,则意味着模型对这片状态并不熟悉。训练价值目标时采用中位数聚合,避免被过于乐观的预测带偏;执行决策时改用最大值聚合,鼓励探索至少有一个模型看好的区域。这个思路类似五位医生独立诊断,意见一致时更放心,意见分散时则要谨慎对待。

生成器若不断拿自己采样出的精英样本训练自己,分布会逐渐收窄,出现模式坍塌。GTP引入兰之万动力学增强:在精英样本基础上沿着得分升高的方向走几步,再叠加随机扰动,制造出精英样本原本不会生成、但确实更优的新样本,混入训练数据。消融实验里,不做这项干预时性能从五千多分跌到一千六百多分;换成普通高斯噪声扰动可回升到四千六百分左右,但仍低于完整方法。

在MuJoCo连续控制任务上,GTP在五个环境中均超过SAC、TD3、QSM、DPMD、DreamerV3和TD-MPC2。规划步数从1步增加到4步后,收益尤其明显:HalfCheetah从一万出头升至接近一万四千分,Humanoid从四千多分升至六千六百多分。到了长时间跨度的机器人操作任务,差距进一步拉大:FetchPush和FetchPickAndPlace上,SAC、TD3等传统方法的成功率只有个位数,GTP分别达到100%和98%。基于视觉输入的PushT任务中,传统强化学习方法训练三百万步成功率仍为0%,GTP在一百万步训练量下达到99%;TD-MPC2最终在三百万步后追上,但耗时多出两倍以上。论文认为,失败方法增加数据仍无起色,原因不在练习量,而在单步价值目标难以发现需要连续多步配合的推动轨迹。

论文还记录了PushT训练中的探索热力图。SAC和DPMD很少真正接触需要推动的物体,轨迹分布虽散,却缺少有效互动;TD-MPC2规划范围更广,但动作扰动彼此独立,时间上的连贯性不足,探索显得杂乱。GTP的扰动作用于整条轨迹,早期就能发现一些有价值的交互,随后逐步向物体轮廓和关键接触区域聚拢。独立加噪更像醉汉在广场上随机游走,轨迹级扰动则像带着任务目标搜索的侦察兵。

拆解实验进一步说明了各组件的作用。去掉兰之万增强,性能跌至一千六百多分;用高斯噪声替代可回到四千六百分左右。把轨迹级价值目标换成单步时序差分目标,性能同样下降。去掉波束搜索、只用一次性采样筛选,也无法替代反复细化。影响最大的是集成动力学模型:五个模型压缩成一个后,分数从五千多跌到不到两千,说明不确定性信号一旦消失,后面的聚合策略和探索机制都会失去依据。规划步数测试中,HalfCheetah和FetchSlide都在4步时获得明显收益;HalfCheetah继续增加步数后性能回落,动力学误差开始主导决策,FetchSlide则趋于平稳,即使规划到16步仍较稳定。限制长步数规划的关键,更多在于世界变化预测模型是否足够准确。

论文还给出一个理想条件下的收敛性论证:反复用规划结果训练生成器,会单调提升期望收益,并最终把大部分概率质量集中到接近最优的轨迹上。这个论证依赖采样充分、扩散模型拟合精确等假设,现实中并不能完全满足,也无法直接覆盖有限预算的波束搜索、不完美的函数逼近以及动力学与价值模型联合训练带来的复杂度。不过,该框架仍解释了波束搜索提供改进方向、自适应温度控制更新幅度、兰之万增强防止支撑集坍缩分别对应理论假设中的哪些环节。

更多热门内容