使用合成数据生成推进机器人仿真技术的发展

“洞悉 Omniverse”系列文章将重点介绍艺术家、开发者和企业如何使用通用场景描述和 NVIDIA Omniverse 的最新技术改变其工作流程。

NVIDIA Isaac Sim 等工具增强了合成数据生成能力，提高 AI 模型性能并加速机器人技术的发展。

可扩展的仿真技术能够缩短开发时间、降低开发成本，帮助推动(dòng)自(zì)主机(jī)器(qì)人(rén)的(de)未(wèi)来(lái)发(fā)展(zhǎn)。

通(tōng)用(yòng)场(chǎng)景(jǐng)描(miáo)述(shù)(OpenUSD)为(wèi)虚(xū)拟世界的开发提供了一个扩展自如的互通数据框架，机器人能够在这些世界中学习如何成为一个“合格的”机器人。借助基于 SimReady OpenUSD 的仿真技术，开发人员可以创建无数基于物理世界的场景。

NVIDIA Isaac Sim正在推进基于感知 AI 的机器人仿真。Isaac Sim 是一个基于 NVIDIA Omniverse 平台构建的参考应用，使开发人员能够在基于物理学的虚拟环境中对 AI 驱动的机器人进行仿真和测试。

NVIDIA 在 AWS re:Invent 大会上宣布 Isaac Sim 现在可以在NVIDIA GPU驱动的亚马逊 EC2 G6e 实例上使用。这些功能强大的实例提高了 Isaac Sim 的性能和可访问性，使高质量机器人仿真具有了更强的扩展能力和更高的效率。

Isaac Sim 的这些进步标志着机器人技术发展的一次重大飞跃。通过在虚拟环境中进行的逼真测试和 AI 模型训练，企业可以缩短部署时间并提高机器人在各种用例中的性能。

使用合成数据生成推进

机器人仿真技术的发展

Cobot、Field AI、Vention 等机器人公司正在使用 Isaac Sim 对机器人性能进行仿真和验证，而 SoftServe、Tata Consultancy Services 等公司则使用合成数据对(duì)用(yòng)于(yú)各(gè)种(zhǒng)机(jī)器(qì)人(rén)应(yīng)用(yòng)的(de) AI 模(mó)型(xíng)进(jìn)行(xíng)自(zì)举(jǔ)训(xun)练(liàn)(bootstrap)。

机(jī)器(qì)人(rén)学(xué)习(xí)的(de)发(fā)展(zhǎn)与(yǔ)仿(fǎng)真(zhēn)技(jì)术(shù)密(mì)切(qiè)相(xiāng)关。早(zǎo)期(qī)的(de)机(jī)器(qì)人(rén)实(shí)验(yàn)主要(yào)依(yī)赖(lài)于(yú)耗(hào)费(fèi)大(dà)量(liàng)劳(láo)动(dòng)力(lì)和(hé)资(zī)源(yuán)的(de)试(shì)错(cuò)。仿(fǎng)真(zhēn)技(jì)术(shù)是(shì)创(chuàng)造(zào)达到物理精确环境的重要工具，机器人可以在这些环境中通过试错进行学习，改进算法，甚至使用合成数据训练 AI 模型。

物理 AI 指能够(gòu)理(lǐ)解(jiě)物(wù)理(lǐ)世(shì)界(jiè)并(bìng)与之互动的 AI 模型。它代表着下一代自主机器和机器人，例如自动驾驶汽车、工业机械臂、移动机器人、人形机器人，甚至工厂、仓库等依靠机器人运行的基础设施。

机器人仿真是“三台计算机解决方案”中的第二台计算机。它是物理 AI 开发工作的基石，能够让工程师和研究人员在受控虚拟环境中设计、测试和完善系统。

围绕仿真技术的方法不仅大大减少了与物理原型开发相关的成本和时间，同时还能够在现实生活中可能不切实际或存在危险的场景中对机器人进行测试，以此提高机器人的安全性。

借助新的参考工作流，开发人员可以使用 OpenUSD NIM 微服务加快生成式 AI 的 3D 合成数据集生成速度。该集成简化了从场景创建到数据增强的整个过程，实现了更加快速、准确的感知 AI 模型训练。

合成数据有助于应对训练各类 AI 模型时所面临的数据有限、受限或无法获取的挑战，尤其是在计算机视觉领域。开发动作识别模型是一个常见的应用场景，能够从合成数据生成中获益。

如要了解如何使用 Isaac Sim 创建人类动作识别视频数据集，请查看关于使用合成数据扩展动作识别模型的技术博客。3D 仿真使开发者能够对图像生成进行精确控制，避免出现虚幻失真的情况。

适用于人形机器人的机器人仿真

人形机器人是下一代具身 AI，但它们给机电一体化、控制理论和 AI 的交叉领域带来了挑战。仿真技术提供的安全、经济、多功能的人形机器人训练和测试平台，是解决这一挑战的关键。

NVIDIA Isaac Lab是在 Isaac Sim 基础上构建的统一开源机器人学习框架。借助该框架，开发人员可以通过仿真大规模训练人形机器人策略。领先的商用机器人制造商正在使用 Isaac Lab 应对日益复杂的动作和交互。

NVIDIA Project GR00T是一个为人形机器人生态系统构建者提供支持的活跃研究项目。该项目开创了 GR00T-Gen 等在 OpenUSD 中生成机器人任务和仿真就绪环境的工作流程。这些环境可用于训练通用机器人执行操作、移动和导航。

最近发表的 Project GR00T 研究成果还展示了如何使用先进仿真训练交互式人形机器人。研究人员使用 Isaac Sim 为物理仿真人形机器人开发了一个名为 MaskedMimic 的一站式统一控制器。该控制器能够根据用户定义的直观意图，在不同地形上产生各种动作。

使用基于物理学的数字孪生

简化 AI 训练过程

各个行业的伙伴都在使用 Isaac Sim、Isaac Lab、Omniverse 和 OpenUSD 设计、仿真和部署智能化程度更高、能力更强的自主机器：

Agility使用 Isaac Lab 创建仿真，将所仿真的机器人行为直接迁移到机器人身上，使机器人在被部署到现实世界后更加智能、敏捷和稳健。

Cobot将 Isaac Sim 用于其 AI 驱动的协作机器人 Proxie，以便优化仓库、医院、制造现场等的物流。

Cohesive Robotics已(yǐ)将(jiāng) Isaac Sim 集成(chéng)到(dào)其(qí) Argus OS 软(ruǎn)件(jiàn)框(kuāng)架(jià)中(zhōng)，用(yòng)于(yú)开(kāi)发(fā)和(hé)部(bù)署(shǔ)在(zài)高(gāo)混(hùn)合(hé)制(zhì)造(zào)环(huán)境(jìng)中(zhōng)使(shǐ)用(yòng)的机器(qì)人(rén)工(gōng)作(zuò)单(dān)元(yuán)。

机(jī)器(qì)人(rén)基(jī)础(chǔ)模(mó)型(xíng)构(gòu)建(jiàn)商(shāng)Field AI使(shǐ)用(yòng) Isaac Sim 和(hé) Isaac Lab 评(píng)估(gū)其(qí)模型在建筑、制造、石油和天然气、采矿等行业的复杂、非结构化环境中的性能。

傅利叶使用 NVIDIA Isaac Gym 和 Isaac Lab 训练其 GR-2 人形机器人，通过强化学习和先进仿真技术加快开发速度、提高适应能力和实际性能。

通过集成 Isaac Sim 和 Omniverse，Foxglove能够在逼真 3D 环境中进行高效的机器人测试、训练和传感器数据分析。

银河通用使用 Isaac Sim 验证 DexGraspNet(一个包含 132 万个 ShadowHand 抓握动作的大规模数据集)的数据生成，通过在 5355 个物体、133 个类别的物体交互上进行可扩展的验证，提高了机器人手的功能。

Standard Bots正在对其用于制造和加工准备的 R01 机器人进行性能仿真和验证。

Wandelbots通过将其 NOVA 平台与 Isaac Sim 集成，创(chuàng)造(zào)出(chū)基(jī)于(yú)物(wù)理(lǐ)学(xué)的(de)数(shù)字(zì)孪(luán)生(shēng)和(hé)直(zhí)观(guān)的(de)训(xun)练(liàn)环(huán)境(jìng)，不(bù)仅(jǐn)简(jiǎn)化(huà)了(le)机(jī)器(qì)人(rén)交(jiāo)互(hù)，而(ér)且(qiě)还(hái)实(shí)现(xiàn)了(le)机(jī)器(qì)人(rén)系(xì)统(tǒng)在(zài)现(xiàn)实(shí)场(chǎng)景(jǐng)中(zhōng)的(de)无(wú)缝(fèng)测试、验证和部署。

进入 OpenUSD 的世界

NVIDIA 专家和 Omniverse 大使主持(chí)的 Office Hours 和 Study Group 直播将为机器人开发人员提供 Isaac Sim 和 Isaac Lab 的技术指导和故障排除帮助。通过 NVIDIA 深度学习培训中心(DLI)的这一全新免费课程，了解如何开始在 Isaac Sim 中进行机器人仿真。

关于优化 OpenUSD 工作流的更多信息，请浏览新的 Learn OpenUSD 自学培训课程，其中包含了针对 3D 从业人员和开发人员的免费深度学习培训中心课程。