买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种面向复杂桌面场景的未知物体实例分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116883665B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310897901.4，技术领域涉及：G06V10/26；该发明授权一种面向复杂桌面场景的未知物体实例分割方法是由张云洲;曹赫;单德兴;王磊设计研发完成，并于2023-07-21向国家知识产权局提交的专利申请。

本一种面向复杂桌面场景的未知物体实例分割方法在说明书摘要公布了：本发明提供一种面向复杂桌面场景的未知物体实例分割方法，涉及实例分割技术领域，针对桌面场景中存在的物体形状尺度变化、物体间相互遮挡、未知目标物体等情况，首先提出了一种深度度量学习网络，它包含多级特征融合和多尺度特征预测。然后提出了一个特征融合模块来有效地融合互补的颜色和深度信息。注意力机制和跳跃连接可以提高融合后特征图的表征能力。通过在特征提取的不同分辨率阶段部署特征融合模块，提高神经网络对物体尺寸变化的鲁棒性。最后，本发明设计了一个包含多尺度度量学习机制的损失函数，该函数考虑了不同特征层级的特征嵌入距离，在多个尺度上计算类内和类间距离，提高了网络对度量距离的学习能力。

本发明授权一种面向复杂桌面场景的未知物体实例分割方法在权利要求书中公布了：1.一种面向复杂桌面场景的未知物体实例分割方法，其特征在于，包括以下步骤： 步骤1：利用双流残差网络提取RGB-D图像对的颜色-深度多模态特征： 步骤2：利用多尺度解码器将低分辨率颜色-深度多模态特征恢复至输入图像尺寸： 步骤3：利用特征融合模块充分融合颜色特征和深度特征； 步骤4：利用多尺度度量学习策略计算损失函数，通过训练其中的参数进行调整和优化，利用均值漂移算法对输出特征进行聚类，获得实例分割结果； 步骤1中所述双流残差网络为使用残差单元堆叠所构成的ResNet-34网络，通过ResNet-34网络来分别提取颜色-深度多模态特征； 所述步骤1具体包括以下步骤： 步骤1.1：给定输入高度为H、宽度为W的RGB-D图像对和其中H、W分别表示高度为H、宽度为W的RGB-D图像对，利用可提前获取的相机内参来将深度图D转化为点云经过转换之后，R和P具备相同的尺寸和通道数； 步骤1.2：将RGB图像R送入到ResNet-34网络来提取不同尺度的颜色特征；具体为，经过ResNet网络层1至网络层4的处理，得到尺寸分别为W4、W8、W16和W32的颜色特征； 步骤1.3：将点云P送入到ResNet-34网络来提取不同尺度的深度特征；具体为，经过ResNet网络层1至网络层4的处理，得到尺寸分别为W4、W8、W16和W32的深度特征； 步骤2所述解码器采用三个级联的解码模块，每个解码模块的步骤包括： 步骤2.1：使用3×3卷积将颜色-深度多模态特征的通道数512、256和128均减少至64； 步骤2.2：使用最近邻上采样对步骤2.1获得的特征图分辨率进行提升； 步骤2.3：使用3×3逐通道卷积在二维特征层面上以滑动窗口的方式整合相邻特征； 对于每个解码器模块，使用输出通道为64的1×1卷积来对W32、W16、W8尺寸的特征执行乘加运算，以降低其通道数； 所述步骤3具体为：设计了包含自注意力层和挤压-激励结构的特征融合模块来完成未知物体实例分割中的多模态特征融合，具体包括RGB-D特征融合和编码器-解码器特征融合两个阶段； 所述步骤3具体包括以下步骤： 步骤3.1：对于RGB-D特征融合：首先使用从双流残差网络中提取的尺寸分别为W4、W8、W16的颜色特征和深度特征进行特征连接操作，使用位置嵌入来标记特征序列的相对位置信息，并将带有位置嵌入的连接特征图输入自注意力层；在通过自注意力层后，再对连接特征图进行拆分，以分别获得输出的颜色特征图和深度特征图； 步骤3.2：对于编码器-解码器特征融合：首先通过挤压-激励结构分别对颜色特征图和深度特征图进行加权，然后采用逐元素相加操作得到输出特征图，将输出特征图通过跳跃连接送入到相应分辨率的解码器模块，与解码器模块中已有的特征进行相加操作获得融合特征，从而对解码器中的特征图进行细化； 所述步骤4具体为：使用的基础类内度量损失函数为： 其中，K为输入图像中目标物体的数量，N为每个物体被选中的像素数量，d表示余弦距离，1{}表示指示函数，α为类内距离裕度，表示第k个物体的第i个像素的特征嵌入，μ为聚类中心； 基础类间度量损失函数如下式所示： 其中，[·]+表示当括号内的数值小于0时，用0来替代实际的数值，k和k’表示两个不同的目标物体，δ表示类间距离裕度； 通过多尺度策略，在不同的特征尺度上使用基础类内度量损失函数和基础类间度量损失函数；设fd32、fd16、fd8为在步骤2中获得的多尺度特征图；ffinal是最终输出的特征图，则多尺度度量学习损失函数表示为： 其中，Up32、Up16、和Up8分别表示不同倍数的上采样操作；Ld32、Ld16、Ld8是尺度为W32、W16、W8的损失函数，Lfinal是指尺度为W的损失函数； 将上述的损失函数求和，得到整体的多尺度度量学习损失函数： LMFE＝λ1Ld32+λ2Ld16+λ3Ld8+λ4Lfinal 其中，λ1、λ2、λ3和λ4表示常数，LMFE表示整体的多尺度度量学习损失函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。