破解透明物体抓取难题，地瓜机器人 CASIA 推出几何和语义融合的单目抓取方案｜ICRA 2025

概述

近日，全球机器人领域顶会ICRA 2025（IEEE机器人与自动化国际会议）公布论文录用结果，地瓜机器人主导研发的DOSOD开放词汇目标检测算法与MODEST单目透明物体抓取算法成功入选(xuǎn)。前(qián)者(zhě)通(tōng)过(guò)动(dòng)态(tài)语(yǔ)义(yì)理解框架提升复杂场景识别准确率，后者结合几何建模与语义分析技术优化透明物体操作精度，两项技术成果均已在规模化商业场景(jǐng)中(zhōng)得到有效验证。此次投稿的两篇论文全部入选，不仅彰显了ICRA对机器人感知领域的高度重视，同时也印证了地(de)瓜(guā)机(jī)器(qì)人(rén)团(tuán)队(duì)在(zài)机(jī)器(qì)人(rén)视(shì)觉(jué)领(lǐng)域的(de)领(lǐng)先(xiān)优(yōu)势(shì)。

DOSOD开(kāi)放(fàng)词汇(huì)目(mù)标检测算法，本期文章将围绕MODEST单目透明抓取算法进行重点介绍。

作为机器人执行各项任务中绕不开的操作对象，水杯、试管、窗户等透明物体在人类生活中无处不在。从精密制造、医疗实验室和家庭服务机器人等领域，透明物体的精确操作是提升自动化和智能化水平的关键。然而，透明物体复杂的折射和反射特性给机器人感知造成了很大困难。在大多数RGB图像中的透明物体往往缺乏清晰的纹理，而容易与背景混为一体。此外，商用深度相机也难以准确捕捉这些物体的深度信息，导致深度图缺失或噪声过多，从而限制了机器人在多个领域的广泛应用。

为了解决透明物体的抓取问题，地瓜机器人联合中科院自动化所（简称：CASIA）多模态人工智能系统全国重点实验室，推出了针对透明物体的单目深度估计和语义分割的多任务框架（简称：MODEST）。该框架借助创新性的语义和几何融合模块，结合独特的特征迭代更新策略，显著提升了深度估计和语义分割(gē)的(de)效(xiào)果(guǒ)，尤(yóu)其(qí)在(zài)抓取成功率和系统泛化性方面取得了突破性进展。

MODEST算法框架作为通用抓取模型的前置模块，即插即用，灵活高效，且无需依赖额外传感器，仅靠单张RGB图像，便可实现透明物体的抓取，效果上甚至要优于其它双目和多视图的方法，可以广泛应(yīng)用(yòng)于(yú)智(zhì)能工厂、实验室自动化、智慧家居等场景，降低设备成本并大幅提升机器人对透明物体的操作能力。

基本原理

当前透明物体的抓取核心在于深度信息的获取，目前(qián)无论是深度传感器还是多视角重建的方法都无法获取透明物体准确完整的深度信息。为了解决透明物体感知难题，传统方法大多依赖特殊传感设备或多视角图像，增加了时间和经济成本，并常常受限于应用场景。MODEST单目框架首次突破了传统传感器处理透明物体时的限制，降低了设备成本和使用复杂度，提供了更加高效、经济和便捷的透明物体感知方案。

单目透明物体感知框架与其他方法之间的对比

MODEST主要(yào)聚焦于透明物体的深度估计，通过设计的语义和几何结合的多任务框架，获取物体准确的深度信息，之后结合基于点云的抓取网络实现透明物体的抓取。相当于在通用抓取网络前面增加一个针对透明物体的增强模块。

MODEST模型的整体架构如图所示，输入为单目RGB图像，输出为透明物体的分割结果和场景深度预测。网络主要由编码、重组、语义几何融合和迭代解码四个模块组成。输入图像首先经过基于ViT的编码模块进行处理(lǐ)，随(suí)后(hòu)重(zhòng)组(zǔ)为(wèi)对(duì)应(yīng)分(fēn)割(gē)和(hé)深度两个分支的多尺度特征。在融合模块中对两组特征进行混合和增强，最后通过多次迭代逐步更新特征，并获得最终预测结果。

基于语义几何融合和迭代策略的透明物体单目多任务框架

对于透明物体来说，语义分割任务可以为深度估计提供语义和上下文信息，而同样深度估计可以为分割提供边界、表面等几何信息。为了充分挖掘两个任务间的互补信息，MODEST算法框架构建了基于注意力机制的语义几何融合模块，旨在同时提升两个任务的性能。

语义几何融合模块结构

当人类观察透明物体等不显著物体时(shí)，我(wǒ)们(men)会(huì)倾(qīng)向(xiàng)于(yú)先(xiān)注(zhù)意(yì)物(wù)体(tǐ)的(de)整(zhěng)体(tǐ)轮(lún)廓(kuò)，然(rán)后(hòu)是(shì)局(jú)部(bù)细(xì)节(jié)。受(shòu)人(rén)眼(yǎn)启(qǐ)发(fā)，MODEST框(kuāng)架(jià)提(tí)出(chū)了(le)一(yī)种(zhǒng)由(yóu)粗(cū)到(dào)细(xì)的特征更新策略，进一步提升预测精度。

实验结果(guǒ)

为(wèi)了(le)测(cè)试(shì)MODEST全新(xīn)算(suàn)法(fǎ)框(kuāng)架(jià)的(de)检(jiǎn)测(cè)效(xiào)果(guǒ)，我(wǒ)们(men)选(xuǎn)取(qǔ)了(le)透(tòu)明(míng)物体领域两个影响力广泛的公开仿真数据集Syn-TODD和真实数据集ClearPose，在其上与目前最先进的透明物体双目方法SimNet、多视图方法MVTran以及多任务方法InvPT和TaskPrompter进行对比实验。两个大规模数据集都(dōu)拥(yōng)有(yǒu)超(chāo)过(guò)100k的(de)良(liáng)好(hǎo)标(biāo)注(zhù)图(tú)像(xiàng)数据，并且包含了严重遮挡等极端场景。

公开数据集上的定性和定量对比实验

仿真数据集Syn-TODD上的定性对比结果

真实数据集ClearPose上的定性对比结果

通过在两个数据集上的定性对比结果可以看出，由于透明物体会错误地折射背景，并且在RGB图像中缺乏纹理，因此SimNet、MVTrans等方法无法获得令人满意的预测，从而导致深度图(tú)和(hé)分(fēn)割(gē)掩(yǎn)膜(mó)的大面积缺失。然而，通过有效的融合和迭代，在某些即使人眼都难以分析和判断的场景，我们的方法依然能够产生完整和清晰的预测结果。

仿真数据集Syn-TODD上的定量对比结果

真实数据集ClearPose上的定量对比结果

从表格中的定量对比可(kě)以(yǐ)看(kàn)出(chū)，MODEST算(suàn)法(fǎ)框(kuāng)架(jià)在(zài)各(gè)项(xiàng)指(zhǐ)标(biāo)上(shàng)都(dōu)要(yào)大(dà)幅(fú)超(chāo)过(guò)其(qí)他(tā)所(suǒ)有(yǒu)方(fāng)法(fǎ)。值(zhí)得(de)注(zhù)意(yì)的(de)是(shì)，尽(jǐn)管(guǎn)只(zhǐ)使(shǐ)用(yòng)单(dān)张(zhāng)RGB图(tú)像(xiàng)作(zuò)为输入，MODEST在深度估计和语义分割方面都要明显优于其他双目甚至多视图方法。并且在Syn-TODD数据集上，与排名第二的方法相比，MODEST算法框架在RMSE和REL两项指标有着超过45%的提升，语义分割的精度也均超过了90%。

真实平台抓取实验

我们将算法迁移到真实机器人平台，开展了透明物体抓取实验。平台主要由UR机械臂和深度相机构成，在借助MODEST方法进行透明物体精确感知的基础之上，采用GraspNet进行抓取位姿的(de)生(shēng)成(chéng)。在(zài)多(duō)个(gè)透(tòu)明(míng)物(wù)体(tǐ)上(shàng)的(de)实(shí)验(yàn)结(jié)果(guǒ)表(biǎo)明(míng)，MODEST方(fāng)法(fǎ)在(zài)真(zhēn)实(shí)平(píng)台(tái)上(shàng)具(jù)有(yǒu)良好的鲁棒性和泛化性。