NVIDIA Isaac GR00T与Apple Vision Pro携手探索人形机器人训练新途径

通用人形机器人旨在快速适应现有的以人类为中心的城(chéng)市(shì)和(hé)工(gōng)业(yè)工(gōng)作(zuò)空(kōng)间(jiān)，处(chù)理(lǐ)繁(fán)琐(suǒ)、重(zhòng)复(fù)或(huò)体力要求高的任务。这些移动机器人经过设计，能在以人类为中心的环境中有出色的表现，从工厂车间到医疗保健机构，它们的价值日益凸显。

模仿学习是机器人学习的一个子集，它能让人形机器人通过观察和模仿人类专家的示范来获取新技能。在真实世界中收集这些广泛、高质量的数据集既繁琐又耗时，而且成本往往高得令人却步。从物理精确的仿真环境中生成的合成数据有助于加快这一收集过程。

NVIDIA Isaac GR00T为人形机器人开发者提供机器人基础模型、数据管线和仿真框架，有助于应对人形机器人开发中所面对的这些挑战。用于合成运动生成的NVIDIA Isaac GR00T Blueprint是一个用于模仿学习的仿真工作流程，使开发者能够从少量人类示范中生成数量呈指数级扩增的数据集。

视频 1.借助 NVIDIA Isaac GR00T 简化数据收集

在本文中，我们将介绍如何通过 Apple Vision Pro 捕(bǔ)捉(zhuō)远(yuǎn)程(chéng)操(cāo)作(zuò)数(shù)据(jù)，使(shǐ)用(yòng) NVIDIA Isaac GR00T 从(cóng)少(shǎo)数(shù)人(rén)类(lèi)示(shì)范(fàn)中(zhōng)生(shēng)成大量合成轨迹数据集，然后在Isaac Lab中训练机器人运动策略模型。

合成运动生成

该工作流的包括以下关键组成部分：

GR00T-Teleop：

NVIDIA CloudXR：连接到 Apple Vision Pro 头戴设备，使用(yòng)专(zhuān)门(mén)为(wèi)人(rén)形(xíng)机(jī)器(qì)人(rén)远(yuǎn)程(chéng)操(cāo)作(zuò)设(shè)计(jì)的(de)定(dìng)制(zhì) CloudXR 运(yùn)行(xíng)时(shí)，实(shí)现(xiàn)动(dòng)作(zuò)的(de)流(liú)畅(chàng)传(chuán)输(shū) 。

Isaac XR Teleop：将(jiāng)远(yuǎn)程(chéng)操(cāo)作(zuò)数(shù)据(jù)流(liú)式(shì)传(chuán)输(shū)到(dào)NVIDIA Isaac Sim或(huò) Isaac Lab，作(zuò)为(wèi) Apple Vision Pro 的(de)参(cān)考(kǎo)应(yīng)用(yòng)程(chéng)序(xù)。

Isaac Lab：基(jī)于(yú) Isaac Sim 的(de) Isaac Lab 是(shì)一(yī)个(gè)用于机器人学习的开源模(mó)块(kuài)化(huà)框(kuāng)架，使用这一框架，可以(yǐ)实(shí)现(xiàn)训(xun)练(liàn)机(jī)器人策略。

GR00T-Mimic：通过少量人类示范生成大量合成运动轨迹数据。

GR00T-Gen：通过随机化场景中的背景、光照和其他变量来增加多样性，并通过NVIDIA Cosmos对生成的图像进行放大处理。（在本文中，我们不会详细介绍 GR00T-Gen。）

图 1.远程操作架构

合成运动生成管线是一个复杂的过程，旨在创建一个庞大且多样化的数据集来训练机器人。

它从数据收集开始，在这个过程中，将使用像 Apple Vision Pro 这样的高保真设备，在仿真环境中捕捉人类的动作和行为。Apple Vision Pro 将手(shǒu)部(bù)追(zhuī)踪(zōng)数(shù)据(jù)传(chuán)输(shū)到(dào)如(rú) Isaac Lab 的(de)仿(fǎng)真(zhēn)平(píng)台(tái)，同(tóng)时(shí)仿(fǎng)真(zhēn)平(píng)台(tái)将(jiāng)机(jī)器(qì)人(rén)环(huán)境(jìng)的(de)沉(chén)浸(jìn)式(shì)视(shì)图(tú)传(chuán)输(shū)回(huí)该(gāi)设(shè)备(bèi)。这(zhè)种(zhǒng)设(shè)置(zhì)使(shǐ)得(de)机(jī)器(qì)人(rén)操(cāo)作更加直观和互动，有助于收集高质量的远程操作数据。

图 2.准备好通过 Apple Vision Pro 进行远程操作的机器人

Isaac Lab 中的机器人仿真画面被传输到 Apple Vision Pro，让您能够可视化机器人的环境。通过移动手部，您可以直观地控制机器人执行各种任务。这种设置提供了沉浸式且互动的远程操作体验。

图 3.Isaac Lab 中的远程操作

使用 GR00T-Mimic 生成合成轨迹

数据收集后，下一步是合成轨迹生成。使用 Isaac GR00T-Mimic 从少量人类示范中推算出大量合成运动轨迹。

这个过程包括在示范中标记关键点，并使用插值法确保合成轨迹平滑且符合情境。然后对生成的数据进行评估和优化，以满足训练所需的标准。

在这个示例中，我们成功生成了 1,000 条合成轨迹。

a.机器人

拿起轮子

b.机器人将轮子

移到托盘

c.机器人将(jiāng)轮(lún)子(zi)

放(fàng)到(dào)托(tuō)盘(pán)上

图 4.在 Isaac Lab 中生成的一组合成轨迹

在 Isaac Lab 中使用模仿学习进行训练

最后，使用模仿学习技术，利用合成数据集对机器人进行训练。在这个阶段，会训练一个策略，比如 Robomimic 套件的循环高斯混合模型（GMM），以模仿合成数据中的动作。

训练在比如 Isaac Lab 这样的仿真环境中进行，并且通过多次试验来评估训练后的策略的性能。这个管线显著减少了开发和部署机器人系统所需的时间和资源，使其成为机器人领域的一个有价值的工具。

为了展示如何使用这些数据，我们训练了一台带有夹爪的 Franka 机器人，在 Isaac Lab 中执行堆叠任务。这个夹爪类似于人形机器人的“手”。

我们使用了来自 Robomimic 套件的带有循环 GMM 策略的行为克隆方法。该策略使用了两个隐藏维度为 400 的长短期记忆（LSTM）层。

网络的输入包括机器人末端执行器的位姿、夹爪状态以及相对物体的位姿，而输出是一个用于在 Isaac Lab 中驱动机器人的增量位姿动作。

使用由 1,000 次成功示范组成的数据集，并(bìng)经(jīng)过(guò) 2,000 次(cì)迭(dié)代(dài)，我(wǒ)们(men)实(shí)现(xiàn)了(le)大(dà)约(yuē) 50 次(cì)迭(dié)代(dài) / 秒(miǎo)的(de)训(xun)练(liàn)速(sù)度(dù)（相(xiāng)当(dāng)于(yú)在(zài) NVIDIA RTX GPU 上(shàng)大(dà)约(yuē) 0.5 小(xiǎo)时(shí)的(de)训(xun)练(liàn)时(shí)间(jiān)）。在(zài) 50 次(cì)实(shí)验(yàn)的(de)平(píng)均(jūn)结(jié)果(guǒ)中(zhōng)，训(xun)练(liàn)策(cè)略(è)在堆叠任务中的成功率为 84%。

图 5.在 Isaac Lab 中训练的夹爪

开始使用

在本文中，我们讨论了通过 NVIDIA Isaac GR00T 生成合成轨迹数据，加速推进人形机器人运动策略学习：

https://developer.nvidia.cn/isaac/gr00t

GR00T-Teleop 堆栈目前还处于仅限受邀用户访问的阶段。加入人形机器人开发者计划，以便在该堆栈进入测试版时获取使用权限：

https://developer.nvidia.com/humanoid-robot-program