NVIDIA Isaac GR00T与Apple Vision Pro携手探索人形机器人训练新途径

发布：2025-02-17 12:34:12

通用人形机器人旨在快速适应现有的以人类为中心的城市(shì)和(hé)工(gōng)业(yè)工(gōng)作(zuò)空(kōng)间(jiān)，处(chù)理(lǐ)繁(fán)琐(suǒ)、重(zhòng)复(fù)或(huò)体(tǐ)力(lì)要(yào)求(qiú)高(gāo)的(de)任(rèn)务(wu)。这(zhè)些(xiē)移(yí)动(dòng)机(jī)器(qì)人经过设计(jì)，能(néng)在(zài)以人类为中心的环境中有出色的表现(xiàn)，从(cóng)工(gōng)厂(chǎng)车(chē)间(jiān)到(dào)医(yī)疗(liáo)保(bǎo)健(jiàn)机(jī)构(gòu)，它(tā)们(men)的(de)价(jià)值(zhí)日(rì)益(yì)凸(tū)显(xiǎn)。

模(mó)仿(fǎng)学(xué)习(xí)是(shì)机(jī)器(qì)人(rén)学(xué)习(xí)的(de)一(yī)个(gè)子(zi)集，它(tā)能(néng)让(ràng)人(rén)形(xíng)机(jī)器(qì)人(rén)通(tōng)过(guò)观(guān)察(chá)和(hé)模仿人类专家的示范来获取新技能。在真实世界中收集这些广泛、高质量的数据集既繁琐又耗时，而且成本往往高得令人却步。从物理精确的仿真环境中生成的合成数据有助(zhù)于(yú)加快这一收集过程。

NVIDIA Isaac GR00T为人形机器人开发者提供机器人基础模型、数据管线和仿真框架，有助于应对人形机器人开发中所面对的这些挑战。用于合成运动生成的NVIDIA Isaac GR00T Blueprint是一个用于模仿学习的仿真工作流程，使开发者能够从少量人类示(shì)范(fàn)中(zhōng)生(shēng)成(chéng)数(shù)量(liàng)呈(chéng)指(zhǐ)数(shù)级(jí)扩(kuò)增(zēng)的(de)数(shù)据(jù)集。

视(shì)频(pín) 1.借(jiè)助(zhù) NVIDIA Isaac GR00T 简(jiǎn)化(huà)数(shù)据(jù)收(shōu)集

在(zài)本(běn)文中(zhōng)，我(wǒ)们(men)将(jiāng)介(jiè)绍(shào)如(rú)何(hé)通(tōng)过(guò) Apple Vision Pro 捕(bǔ)捉(zhuō)远(yuǎn)程(chéng)操(cāo)作(zuò)数(shù)据(jù)，使(shǐ)用(yòng) NVIDIA Isaac GR00T 从(cóng)少(shǎo)数(shù)人类示范中生成大量合成轨迹数据集，然后在Isaac Lab中训练机器人运动策略模型。

合成运动生成

该工作流的包括以下关键组成部分：

GR00T-Teleop：

NVIDIA CloudXR：连接到 Apple Vision Pro 头戴设备，使用专门为人(rén)形(xíng)机(jī)器(qì)人(rén)远(yuǎn)程(chéng)操(cāo)作(zuò)设(shè)计(jì)的(de)定(dìng)制(zhì) CloudXR 运(yùn)行(xíng)时(shí)，实(shí)现(xiàn)动(dòng)作(zuò)的(de)流(liú)畅(chàng)传(chuán)输(shū) 。

Isaac XR Teleop：将(jiāng)远(yuǎn)程(chéng)操(cāo)作(zuò)数(shù)据(jù)流(liú)式(shì)传(chuán)输(shū)到(dào)NVIDIA Isaac Sim或(huò) Isaac Lab，作(zuò)为(wèi) Apple Vision Pro 的(de)参(cān)考(kǎo)应(yīng)用(yòng)程(chéng)序。

Isaac Lab：基于 Isaac Sim 的 Isaac Lab 是一个用于机器人学习的开源模块化框架，使用这一框架，可以实现训练机器人策略。

GR00T-Mimic：通过少量人类示范生成大量合成运动轨迹数据。

GR00T-Gen：通过随机化场景中的(de)背(bèi)景(jǐng)、光(guāng)照(zhào)和(hé)其(qí)他(tā)变(biàn)量(liàng)来(lái)增(zēng)加(jiā)多(duō)样(yàng)性(xìng)，并(bìng)通(tōng)过(guò)NVIDIA Cosmos对(duì)生(shēng)成(chéng)的(de)图(tú)像(xiàng)进(jìn)行(xíng)放(fàng)大(dà)处(chù)理(lǐ)。（在(zài)本(běn)文中(zhōng)，我(wǒ)们(men)不(bù)会(huì)详(xiáng)细(xì)介(jiè)绍(shào) GR00T-Gen。）

图 1.远程操作架构

合成运(yùn)动(dòng)生(shēng)成(chéng)管(guǎn)线(xiàn)是(shì)一(yī)个(gè)复(fù)杂(zá)的(de)过(guò)程(chéng)，旨(zhǐ)在(zài)创建一个庞大且多样化的数据集来训练机器人。

它从数据收集开始，在这个过程中，将使用像 Apple Vision Pro 这样的高保真设备，在仿真环境中捕捉人类的动作和行为。Apple Vision Pro 将手部追踪数据传输到如 Isaac Lab 的仿真平台，同时仿真平台将机器人环境的沉浸式视图传输回该设备。这种设置使得机器人操作更加直观和互动，有助于收集高质量的远程操作数据。

图 2.准备好通过 Apple Vision Pro 进行远程操作的机器人

Isaac Lab 中的机器人仿真画面被传输到 Apple Vision Pro，让您能够可视化机器人的环境。通过移动手部(bù)，您(nín)可(kě)以(yǐ)直(zhí)观(guān)地(de)控(kòng)制(zhì)机(jī)器(qì)人(rén)执(zhí)行(xíng)各(gè)种(zhǒng)任(rèn)务(wu)。这(zhè)种(zhǒng)设(shè)置(zhì)提(tí)供(gōng)了(le)沉(chén)浸(jìn)式(shì)且(qiě)互(hù)动(dòng)的(de)远(yuǎn)程(chéng)操(cāo)作(zuò)体(tǐ)验(yàn)。

图 3.Isaac Lab 中(zhōng)的(de)远(yuǎn)程(chéng)操(cāo)作(zuò)

使(shǐ)用(yòng) GR00T-Mimic 生(shēng)成(chéng)合(hé)成(chéng)轨(guǐ)迹(jī)

数据收(shōu)集后(hòu)，下(xià)一(yī)步(bù)是(shì)合(hé)成(chéng)轨(guǐ)迹(jī)生(shēng)成(chéng)。使(shǐ)用(yòng) Isaac GR00T-Mimic 从(cóng)少(shǎo)量(liàng)人(rén)类(lèi)示(shì)范(fàn)中(zhōng)推(tuī)算(suàn)出(chū)大(dà)量(liàng)合(hé)成(chéng)运(yùn)动(dòng)轨迹。

这个过程包括在示范中标记关键点，并使用插值法确保合成轨迹平滑且符合情境。然后对生成的数据进行评估和优化，以满足训练所需的标准。

在这个示例中，我们成功生成了 1,000 条合成轨迹。