在科技日新月异的当下，NVIDIA与银河通用携手，在机器人技术领域掀起了一场创新风暴。近日，NVIDIA机器人与边缘计算领域的副总裁Deepu Talla，在北京办公室分享了机器人发展的最新趋势、面临的挑战以及NVIDIA的战略布局。同时，银河通用的创始人兼CTO王鹤，也披露了他们在利用10亿级合成数据训练全球首个端到端具身抓取基础大模型GraspVLA方面的突破。
NVIDIA近期推出的世界基础模型平台Cosmos，为机器人训练开辟了新天地。该平台能够构建高度逼真的虚拟环境，类似于视频游戏场景，但这里的“世界”是指机器人交互的外部环境，如操作房间内的可视区域。Deepu Talla表示，NVIDIA Isaac GR00T计划是一项全面的举措，旨在开发人形机器人的通用基础模型，涵盖了从数据生成到部署的全过程。Cosmos平台提供的预训练世界基础模型，专为生成物理感知视频和物理AI开发所需的世界状态而设计，与GR00T计划相结合，为机器人开发提供了完整的解决方案。
NVIDIA还在开发名为Mega的技术，用于模拟大规模机器人队伍。Mega是一个集成机器人、环境和传感器的参考架构，支持在大规模场景下进行实验和优化。与NVIDIA紧密合作的银河通用，在NVIDIA CES 2025发布会上展示了轮式人形机器人，该机器人成功托举起了NVIDIA最新的显卡产品RTX 5090，引起了广泛关注。NVIDIA创始人兼CEO黄仁勋在会后参观了银河通用的展台，并体验了机器人下单取货的全过程。
王鹤认为，采用合成数据是快速实现具身智能突破的有效途径。他透露，银河通用将在2025年上半年展示真正的人形机器人成果，并表示这些机器人在技能基础上所能拓展的空间“想象力非常大”。在Deepu Talla看来，有三大核心因素驱动着机器人技术的发展：危险工作的替代、劳动力短缺以及养老需求。特别是过去两年，中美企业在人形机器人的开发上更加活跃，这主要得益于技术进步和仿真环境的改进。
Deepu Talla预测，未来5到10年，机器人领域将发生显著变化。他强调，为了真正解决机器人领域的挑战，需要三台计算机：用于训练的计算机、用于仿真的计算机以及用于部署的计算机。这三台计算机分别承担着构建机器人“大脑”、在虚拟环境中进行测试以及在物理环境中执行操作的任务。通过这三台计算机的整合，可以显著缩短机器人开发的时间，加速技术进步。
在机器人开发过程中，主要挑战之一是“仿真与现实的差距”。NVIDIA通过Omniverse等技术显著缩小了这一差距。NVIDIA并不直接制造机器人，而是与所有从事机器人制造或解决方案开发的人员合作，构建一个包含三种计算系统及相关软件工具和工作流程的平台，以简化机器人解决方案的开发过程。然而，机器人模型训练面临现实世界数据量不足的问题。采集机器人数据的难度远大于采集自动驾驶数据，因为人形机器人数据采集难以复制且成本高昂。
银河通用是合成数据推动智能发展的先驱。他们使用NVIDIA Isaac系列及Omniverse等平台，通过仿真器合成大量机器人操作数据，并将其转化为机器人模型。他们将各种3D资产、环境以及材质和纹理素材相结合，模拟机器人的运行场景，探索机器人的操作方式。通过合成数据生成，银河通用成功训练出了全球首个端到端具身抓取基础大模型GraspVLA。这一模型能够满足七大泛化“金标准”，并能够根据输入的语言指令执行特定任务，如抓取物品。
银河通用利用大数据实现了对10亿级别的零售数据进行精准抓取，灵巧抓取的成功率超过90%。他们还将模型与足式机器人相结合，在Isaac引擎中进行了大规模应用。例如，宇树科技的四足机器人能够绕着未名湖捡垃圾，基于强化学习精准识别垃圾，整个过程完全不依赖真实数据。银河通用的具身大模型已成功应用于零售、酒店、接待、养老以及工业制造等多个领域。在北京奔驰工厂，银河通用的人形机器人在装载和转运天窗玻璃过程中发挥了重要作用，能够基于视觉闭环和从仿真中学到的操作技能，快速发现错误并进行纠正。
