大晓机器人与南洋理工大学S-Lab联合宣布,正式开源全球首个L5级多模态具身物理智能数据集ACE-Data-0。该数据集基于具身模型信息密度定律与环境式数据采集方案2.0构建,通过高精度时空同步技术,将真实家庭场景中的物理交互过程转化为可训练机器人的标准化数据资源,为通用物理智能的产业化落地提供关键基础设施。
传统机器人训练数据存在三大核心缺陷:实验室动作捕捉数据缺乏自然遮挡与多模态信号,第一人称视频缺失精确物体状态标注,单步动作数据难以描述长期任务依赖。ACE-Data-0创新性采用目标级采集范式,要求参与者仅完成最终任务目标而不规定具体步骤,由此捕捉到人类行为中自然出现的犹豫、修正与意外处理机制。例如在整理房间任务中,不同参与者会自主选择先收拾桌面或整理沙发,这种差异在标准化数据集中常被视为噪声,却是机器人理解真实家庭环境的关键要素。
数据集通过桌面与房间双尺度采集系统,实现了多模态数据的时空强对齐。研发团队突破性解决了不同设备时钟偏差与空间基准不统一的技术难题,将摄像机、动作捕捉系统、触觉传感器和音频设备的采样频率误差控制在微秒级,确保视频帧中手部接触物体的瞬间与触觉信号完全同步。空间标定技术使外部摄像机、第一人称视角设备、人体关键点及物体六自由度位姿统一于共享坐标系,研究者可精准追踪任意时刻的手-物交互轨迹。
该数据集包含150小时连续采集数据,涵盖1700万帧视频、200个任务类别与7.5万个交互片段。任务设计呈现显著层次性:原子级交互任务单次持续3分钟,包含倒水、切割等复杂操作;家庭场景活动链延伸至20-30分钟,完整记录从食材准备到烹饪装盘的全流程;场景交互任务聚焦移动、开关家具等空间行为,单次时长约5分钟。50名参与者在2个真实家庭环境中自由操作,产生海量非结构化数据,其中接触压力、物体位姿等关键标注直接来自采集系统而非事后估计,显著提升遮挡场景下的数据一致性。
相较于传统数据集,ACE-Data-0的数据密度提升两个数量级。L1-L2级数据仅支持基础预训练,L3-L4级数据局限于已知任务拟合,而L5级数据深度融入接触力学特征与开放行为变量。例如在擦拭任务中,数据集不仅记录手部运动轨迹,更同步捕捉抹布与桌面的压力分布变化;在烹饪场景中,系统持续追踪食材形态演变与工具切换逻辑。这种高密度信息记录使机器人能够理解"用力过猛导致杯子倾倒"等物理因果关系,而非简单模仿人类动作表象。
开源数据集同步配套发布环境式采集引擎ACE,提供从硬件部署到数据标注的全流程解决方案。该引擎支持多传感器时空同步、自动边界框生成与运动轨迹分析,可将数据预处理效率提升40%。研发团队透露,基于ACE-Data-0训练的具身模型已在物体操作成功率、长程任务完成度等指标上取得突破性进展,相关技术方案正加速向医疗护理、智慧物流等领域延伸。

