构建人形机器人学习的合成运动生成流程

通用人形机器人需要能够快速适应现有的以人类为中心的城市和工业工作空间，处理繁琐、重复或体力要求高的任务。这些移动机器人经过设计，能在以人类为中心的环境中有出色的表现，从工厂车间到医疗医疗机构，它们的价值日益凸显。

模仿学习是机器人学习的一个子集，它能让人形机器人通过观察和模仿人类专家的示范来获取新技能，这些演示可以来自远程操作演示中的人类真实视频，也可以来自仿真数据。模仿学习使用已标记的数据集，有利于在难以编程定义的不同环境中教授机器人复杂动作。

虽然录制演示可能比指定奖励(lì)策(cè)略(è)更简单，但创建完美的演示可能具有挑战性，并且机器人可能难以应对一些未曾预见的情况。在真实世界中收集广泛、高质量的数据集既繁琐又耗时，而且成本往往高得令人却步。但是，从物理精确的仿真环境中生成的合成数据，有助于加快数据收集过程。

用于合成运动生成的NVIDIA Isaac GR00T Blueprint是基于NVIDIA Omniverse和NVIDIA Cosmos构建的参考工作流。它从少量的人类演示中创建了大量的合成运动轨迹，用于机器(qì)人(rén)操作。

利用为该蓝图提供的首批组件，NVIDIA 能够在短短 11 小时内生成 780,000 个合成轨迹，相当于 6,500 小时或连续九个月的人类演示数据。然后，通过将合成数据与真实数据相结合，与仅使用真实数据相比，NVIDIA 将GR00T N1的性能提高了 40%。

在本文中，我们将介绍如何使用空间计算设备（例如 Apple Vision Pro）或其他捕获设备（例如 space mouse）进入仿真机器人的数字孪生，并通过远程操作仿真机器人来记录运动演示。然后，使用这些记录生成更大规模、且物理属性准确的合成运动轨迹集。该蓝图还可以通过生成数量呈指数级增长、逼真且多样化的训练数据集，进一步扩充数据集。然后，我们使用这些数据对机器人策略模型进行后期训练。

Blueprint 概述

图 1. NVIDIA Isaac GR00T Blueprint 架构

该工作流包括以下关键组成部分：

GR00T-Teleop：即将推出，但目(mù)前(qián)已(yǐ)经(jīng)可(kě)以(yǐ)使(shǐ)用(yòng)蓝(lán)图(tú)中(zhōng)提(tí)供(gōng)的(de)样(yàng)本(běn)数(shù)据(jù)。

NVIDIA CloudXR Runtime：将(jiāng)Isaac Lab中(zhōng)的(de)仿(fǎng)真(zhēn)传(chuán)输(shū)到(dào) Apple Vision Pro，并(bìng)接(jiē)收(shōu)用(yòng)于(yú)人(rén)形(xíng)机(jī)器(qì)人(rén)远(yuǎn)程(chéng)操(cāo)作(zuò)的(de)控(kòng)制(zhì)数(shù)据(jù)。

适(shì)用(yòng)于(yú) Apple Vision Pro 的(de) Isaac XR Teleop 示(shì)例(lì)应用：使用户能够与从 CloudXR Runtime 流式传输的Isaac Lab仿真进行沉浸式交互，并发送回用于人形机器人远程操作的控制数据。

GR00T-Mimic：使用录制的演示作为输入，在 Isaac Lab 中生成额外的合成运动轨迹。此蓝图的第一版仅适用于单臂操作，支持人形机器人双臂操作的版本即将推出。

要录制您自己的动作，请使用空格鼠标控件记录动作。更多信息，请参阅生成其他演示：

https://isaac-sim.github.io/IsaacLab/main/source/overview/teleop_imitation.html#generating-additional-demonstrations

GR00T-Gen：通过随机化场景中的背景、光照和其他变量来增加多样性，并通过NVIDIA Cosmos Transfer增强生成的图像。

Isaac Lab：使用统一的开源机器人学习框架训练机器人策略。Isaac Lab 基于NVIDIA Isaac Sim构建。

图 2. 远程操作架构

工作流从数据采集开始，在这个过程中，将使用像 Apple Vision Pro 这样的高保真设备，在仿真环境中捕捉人类的动作和行为。Apple Vision Pro 将手部追踪数据传输到如 Isaac Lab 等的仿真平台，同时仿真平台将机器人环境的沉浸式视图传输回该设备。这种设置使得机器人操作更加直观和互动，有助于收集高质量的远程操作数据。

Isaac Lab 中的机器人仿真被传输到 Apple Vision Pro，让您能够可视化机器人的环境。通过移动手部，您可以直观地控制机器人执行各种任务。这种设置提供了沉浸式且互动的远程操作体验。

图 3. Isaac Lab 中的远程操作

使用 GR00T-Mimic

生成合成运动轨迹

数据收集后，下一步是生成合成轨迹。使用 Isaac GR00T-Mimic，能够从少量人类示范中推算出大量合成运动轨迹。

这个过程包括在示范中标记关键点，并使用插值法确保合成轨迹平滑且符合情境。然后对生成的数据进行评估和优化，以满足训练所需的标准。

在这个示例中，我们成功生成了 1000 条合成轨迹。

图 4. Isaac Lab 中生成的一组合成轨迹

扩充并生成大量数据

及多样化数据集

为了缩小仿真与现实之间的差距，关键是提升合成生成图像的真实感，使其达到必要的逼真度，并通过随机化照明、颜色和背景等各种参数来增加多样性。

通常，这个过程需要构建逼真的 3D 场景和物体，而且需要耗费大量时间并具备专业知识。借助 Cosmos Transfer（WFMs），只需简单的文本提示，就能大幅加快这一过程，从原本的数小时缩短至几分钟。

图 5 和图 6 的示例，展示了将合成生成的图像输入到 NVIDIA Cosmos Transfer WFM 后可实现的逼真效果。

图 5. 在 Isaac Lab 中创建的合成生成图像

图 6. 借助 NVIDIA Cosmos Transfer WFM 实现逼真的合成图像

在 Isaac Lab 中使用

模仿学习进行训练

最后，通过模仿学习，利用合成数据集对机器人进行训练。在这个阶段，会训练一个策略，比如 Robomimic 套件的循环高斯混合模型（GMM），以模仿合成数据中的动作。训练在比如 Isaac Lab 这样的仿真环境中进行，并且通过多次试验来评估训练后的策略的性能。

为(wèi)了(le)展示如何使用这些数据，我们训练了一台带有夹爪的 Franka 机器人，在 Isaac Lab 中执行堆叠任务。我们将 Behavioral Cloning 与 Robomimic 套件中的递归 GMM 策略结合使用，该策略使用两个隐藏维度为 400 的长短期记忆（LSTM）层。

网络的输入包括机器人终端执行器的位姿、夹爪状态以及相对物体的位姿，而输出是一个用于在 Isaac Lab 环境中驱动机器人的(de)增(zēng)量(liàng)位姿动作。

使用由(yóu) 1000 次(cì)成(chéng)功(gōng)示(shì)范(fàn)组(zǔ)成(chéng)的(de)数(shù)据(jù)集，并(bìng)经(jīng)过(guò) 2000 次迭代，我们实现了大约 50 次迭代 / 秒的训练速度（相当于在 NVIDIA RTX GPU 上大约 0.5 小时的训练时间）。在 50 次实验的平均结果中，经过训练的策略在堆栈任务中的成功率达到了 84%。

图 7. 在 Isaac Lab 中训练的夹爪

工作流的优势

此方法的主要优势在于在数据收集过程中节省了时间，从堆叠立方体到线程针等各种操作任务的成功率即可证明这一点，例如在使用 GPU 和 cuOpt 等技术时，成功率显著提高。

图 8. 策略模型训练结果（来源于 MimicGen：利用人类演示实现可扩展机器人学习的数据生成系(xì)统(tǒng)）

传(chuán)统(tǒng)上(shàng)，经(jīng)过(guò)适(shì)当(dāng)训(xun)练(liàn)的(de)人(rén)工(gōng)操(cāo)作(zuò)员(yuán)大(dà)约(yuē)需(xū)要(yào)一(yī)分(fēn)钟(zhōng)来(lái)录(lù)制(zhì)一(yī)段(duàn)高(gāo)质(zhì)量(liàng)的(de)示(shì)范(fàn)动(dòng)作(zuò)，然(rán)而(ér)由(yóu)于(yú)需(xū)要(yào)耗(hào)费(fèi)大(dà)量(liàng)人(rén)力(lì)，且(qiě)存(cún)在(zài)出(chū)错(cuò)的(de)可(kě)能(néng)性(xìng)，这(zhè)种(zhǒng)方(fāng)式(shì)很(hěn)难(nán)大(dà)规(guī)模(mó)推(tuī)广(guǎng)。相(xiāng)比(bǐ)之(zhī)下(xià)，这(zhè)种(zhǒng)新(xīn)方(fāng)法(fǎ)通(tōng)过(guò)结(jié)合(hé)少(shǎo)量(liàng)人(rén)类(lèi)演(yǎn)示(shì)和(hé)合(hé)成(chéng)数(shù)据(jù)，能(néng)达(dá)到(dào)相(xiāng)似(shì)的(de)成(chéng)功(gōng)率(lǜ)，将(jiāng)数(shù)据(jù)采集时(shí)间(jiān)从(cóng)几(jǐ)小(xiǎo)时(shí)缩(suō)短(duǎn)到(dào)几(jǐ)分(fēn)钟(zhōng)。

通(tōng)过(guò) NVIDIA Cosmos，您(nín)可(kě)以(yǐ)增(zēng)强(qiáng)合(hé)成(chéng)图(tú)像(xiàng)，以(yǐ)实(shí)现(xiàn)所(suǒ)需(xū)的(de)逼(bī)真(zhēn)度(dù)，仅(jǐn)使(shǐ)用(yòng)文本(běn)提(tí)示(shì)即(jí)可(kě)有(yǒu)效(xiào)缩(suō)小(xiǎo)仿(fǎng)真(zhēn)与(yǔ)现(xiàn)实(shí)之(zhī)间(jiān)的(de)差(chà)距(jù)。这(zhè)种(zhǒng)方(fāng)法(fǎ)显(xiǎn)著(zhe)简(jiǎn)化(huà)了(le)数(shù)据(jù)收(shōu)集过(guò)程(chéng)，使(shǐ)您(nín)能(néng)够(gòu)生(shēng)成(chéng)多(duō)样(yàng)化(huà)的(de)大(dà)型(xíng)数(shù)据(jù)集，同(tóng)时(shí)保(bǎo)持(chí)或(huò)提(tí)高(gāo)生成的机器人策略的质量。

使用该蓝图的开发者

智元机器人、Mentee Robotics、UCR 和 X-Humanoid 等人形机器人开发者已将该蓝图的组件集成到其人形机器人开发流程中。

Field AI、Lab0、Miso Robotics、RIVR 和 Sanctuary AI 等其他公司也在利用 Isaac 仿真框架，开发机器人大脑和软件栈，以及测试和验证物理机器人。

开始使用

在本文中，我们讨论了如何通过 NVIDIA Isaac GR00T 收集、生成和扩充训练单臂操作器所需的数据。

在 build.nvidia.com 上体验用于合成运动生成的 NVIDIA Isaac GR00T Blueprint

从 /NVIDIA-Omniverse-blueprints GitHub 代码库下载蓝图，并在您选择的基础架构上进行部署

此蓝图的第一版仅适用于单臂操作，支持人形机器人双臂操作的版本即将推出。

本文最初发布于 2025 年 1 月，已根据新的信息进行了修改。