11月18日,地平线机器人实验室推出名为LoFT的原生视频几何基础模型。该模型全称为Looped Foundation Transformer for Video Geometry,能够以普通RGB视频作为输入,推算相机位置、朝向和场景深度,并重建视频中的三维空间结构,为机器人空间感知、环境理解与具身学习提供底层技术支撑。
机器人若要在真实环境中自主执行复杂任务,首先要对三维空间形成理解。除了识别物体,它还需判断物体在哪里、距离多远,以及物体之间如何分布。如何从连续视频中稳定提取这些空间线索,是具身智能研究面对的重要问题。
围绕这一目标,LoFT把视频时序建模和三维几何学习放在同一框架中,使用双循环Transformer结构。一个循环负责汇集不同视频帧里的视觉信息,另一个循环不断更新相机状态,借助视角变化逐步还原更准确的三维场景。模型只依赖RGB视频,不要求额外输入深度图或相机位姿。
为支持训练,地平线机器人实验室搭建了统一的三维重建数据处理与训练平台。该平台包含约297万条有效训练序列、9.62亿帧图像记录,场景横跨真实与仿真、动态与静态,为模型学习多样环境中的几何特征提供数据条件。
评测方面,LoFT在SpatialBench、ClassicBench和VRBench三套体系中,多项深度估计指标处于领先位置,相机位姿与轨迹恢复也表现出竞争力。相关实验覆盖机器人第一人称视角、动态街道、室内环境和开放场景,对快速运动物体、动态车辆及复杂细节均可进行几何恢复。
在应用层面,三维空间信息可帮助机器人在自主移动和环境探索中建立地图,判断自身位置与障碍物分布;在物体操作中,几何信息可为物体定位、空间关系理解和动作规划提供参考。
LoFT是地平线机器人实验室推进具身智能基础研究的最新进展之一。此前,团队已经推出具身智能仿真数据引擎EmbodiedGen、通用操作基座模型HoloBrain、人形机器人全身运动控制模型HoloMotion,并开源机器人学习基础设施RoboOrchard,涉及数据生成、环境感知、机器人操作和运动控制等环节。
从智能驾驶延伸到更广泛的机器人应用,环境感知、决策与控制始终是智能系统需要处理的核心问题。地平线创始人兼CEO余凯曾在公开演讲中提到,公司创立之初便看到机器人将广泛存在的趋势,希望为机器人提供智能计算平台。智能驾驶业务中积累的算法研发、软硬件协同和工程经验,也为其他机器人形态的探索提供了技术基础。
