买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：一种基于三维场景点云的场景图生成方法，属于场景理解领域。本发明设计了一种适用于三维点云数据的视觉模式，即交互空间，抽取具有适度冗余度的初始特征，在保障具有充足的环境信息的同时，降低由于反复建模所造成的噪音叠加问题。同时本发明参考人的环境理解过程，设计了具有结构化组织和层次化处理过程的环境上下文融合过程，通过将无差别的信息传递过程改变为有结构的信息组织过程，实现了具有更高辨别力的特征的构建，实现了更精确的三维场景图生成任务。场景图生成任务的精确度由三个子任务验证，包含物体预测任务、谓词预测任务和关系预测任务三部分。本发明提出的三维场景图生成方法在三个子任务上，都优于其他的二维和三维SGG方法。

主权项：1.一种基于三维场景点云的场景图生成方法，其特征在于，利用环境上下文实现对物体和关系标签的精确识别，该方法包括以下步骤：步骤1、三维场景点云数据预处理通过将场景分割为若干个小型场景，使每个小型场景中包含4-9个实体，进而将一张全场景的场景图划分为小型图；将场景中的每一个物体所包含的点云根据实例分割标签划分出来，通过计算点云的最小值和最大值得出该物体的物体框；步骤2、图特征提取模块首先需要根据两物体的物体框判断两物体之间是相交还是相离；若两物体相交，则相交区域为交互空间；若两物体相离，则选择两物体框的中心点分别作为交互空间的左下角和右上角点，交互空间的长宽高为两点坐标的差值；物体框内的场景点云为物体的视觉模式，交互空间内的场景点云即为关系的视觉模式；将物体和关系的场景点云输入到PointNet特征抽取模型中，获取物体和关系初始特征；对物体的位置特征进行计算，根据任意两物体的物体框计算并集空间，根据主语物体框和宾语物体框各自的最小值点和最大值点分别与并集空间的最小值和最大值相减，得到物体的位置特征；将位置特征与关系初始特征融合，实现对关系初始特征的位置信息补充；步骤3、图骨架学习模块图骨架学习模块由三层全连接层构成，将步骤2求得的关系初始特征作为输入，利用不包含节点和关系标签的骨架作为监督数据，对任意两节点间的关联度进行二分类预测；图骨架学习模块为每两个节点的连接状态预测一个概率值，经过softmax进行归一化处理，生成后续消息传递机制的组织权重；步骤4、环境上下文融合模块环境上下文融合模块主要利用消息传递机制MP来实现，MP的输入包含步骤3中图骨架学习模块计算的组织权重、步骤2中物体和关系的初始特征；MP主要是利用BGNN多阶段双子图神经网络实现的，BGNN包含两个部分，实体到关系的消息传递以及关系到实体的消息传递；通过将图骨架学习模块学习到的组织权重与两部分的消息相乘，实现了消息传递过程与结构信息的结合，进而利用权重实现了有差别的信息传递；通过多次循环实现在物体和关系初始特征中融合环境上下文信息的过程，输出物体和关系的精细特征；步骤5、层次化物体学习模块层次化物体学习模块利用粗细两种粒度的物体标签，对步骤2中物体的初始特征和步骤4中MP融合后的精细物体特征进行监督学习；经过粗粒度标签约束的物体初始特征在融合环境上下文信息后，利用细粒度标签进行二次约束；层次化物体学习模块由两个三层全连接层构成，根据输入的物体的初始特征和精细特征直接输出物体标签；步骤6、场景图结果生成利用步骤4中MP融合后的关系精细特征用于预测关系标签；关系预测器由三层全连接层组成，接受融合后的关系特征，输出关系标签；步骤5输出的实体标签和关系标签在图骨架上构成了最后的场景图；当关系标签预测为‘无’关系时，表示两物体间不存在关系，即删除两点间的连接；最终输入的三维点云场景被表示为多张不同大小的场景图。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于三维场景点云的场景图生成方法