买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明提出了一种针对水下目标物的自监督三维点云补全方法，属于计算机视觉技术领域。本发明包括：收集水下三维点云数据，并将残缺点云分为训练数据和测试数据；使用最远点采样算法提取点云轮廓集，并通过最近邻采样算法构建点云块集；构建点云特征编码器模块、点云特征解码器模块、形状特征编码器模块、文本特征编码器模块以及形状‑文本特征匹配模块，并引入跨注意力机制以增强特征融合；通过多模态约束构建自监督补全神经网络模型，并利用训练数据进行训练；利用训练好的模型对残缺点云进行补全。本发明结合了多模态信息和自监督学习技术，显著提升了水下目标物三维点云数据的完整性和精度。

主权项：1.一种针对水下目标物的自监督三维点云补全方法，其特征在于，包括如下步骤：S1：收集水下三维点云数据，分离出需要进行补全对象的残缺点云；将残缺点云分为训练数据和测试数据；S2：对残缺点云使用最远点采样算法提取点云轮廓集，然后以轮廓集中的每个点为中心使用最近邻采样算法构建点云块集；S3：构建基础模型，该模型包括点云特征编码器模块，点云特征解码器模块，形状特征编码器模块，文本特征编码器模块，形状-文本特征匹配模块；其中：1点云特征编码器模块：点云特征编码器模块由两个空间卷积操作构成，每个空间卷积操作按照以下规则构建：Fj＝ConvoutReBNConvinFj-1；Figlobal＝MaxPooingFi；其中Fj-1表示上一次的特征，Convin表示一个空间卷积中的输入卷积，Convout表示一个空间卷积中的输出卷积，Re表示Relu激活函数，BN表示批正则化，Figlobal表示第i个空间卷积层的全局特征；通过两个空间卷积操作，输入点云从特征维度为三的点空间转化到了特征空间；为了保证网络对输入点云数量无关，对提取的点云特征在点数量维度上执行最大化池化操作；并在这个过程中提取点云的全局特征；2点云特征解码器模块：点云特征解码器模块由一个多层感知机组成，经过几次线性连接层扩充特征维度，将点云特征恢复到点维度空间，由下式给出：Pc＝Linear3ReLinear2ReLinear1ReLinear0F；其中Lineari表示线性层，Re表示Relu激活函数，Fj-1表示特征，Pc表示预测的点云；3形状特征编码器模块：引入基于PointTransformer的预训练形状编码器包含多个基于向量自注意力点变换器层，其使用减法关系并将位置编码δ添加到注意力向量γ和转换后的特征α中： 子集是xi的局部邻域中的点的集合，在每个数据点周围的局部邻域内局部应用自注意力；yi是输出的特征，是逐点特征变换，ρ是一个归一化函数，映射函数γ是一个具有两个线性层和一个ReLU非线性的MLP；位置编码函数δ定义如下：δ＝θpi-pj；pi和pj是点i和j的3D点坐标，编码函数θ是一个具有两个线性层和一个ReLU非线性的MLP；4形状-文本特征匹配模块：对点云和文本使用单独的特征编码器来导出形状特征记为fshape和文本特征，记为ftext；采用批量大小为B的批量优化策略，构建了一个形状为[B,B]的logit潜在矩阵M；形式上：Mst＝τsfshape·ftext；其中τs表示可学习的尺度参数，fshape表示点云形状特征，ftext表示与点云对应的文本提示特征，Mst是logit潜在矩阵；将其中点云块Gcom输入点云特征编码器模块与点云特征解码器模块，让网络学习补全其完整形状获得预测的点云Pc，如以下公式所示：fp＝EncoderGcom；Pc＝Decoderfp；获得预测的点云Pc后，将Pc输入冻结的形状特征编码器模块提取其形状信息特征fshape，然后将点云对应的文本提示输入冻结的文本特征编码器模块获文本特征ftext，然后将fshape和ftext输入形状-文本特征匹配模块得到点云形状与文本提示的匹配度；S4：所述基础模型中引入跨注意力机制，将点云的形状特征编码器模块特征与点云的特征编码器特征进行跨注意力特征融合；形状感知的跨注意力机制通过点云形状特征编码器从点云Pc中提取形状信息；将Pc输入冻结的形状特征编码器模块提取其形状信息特征fshape，将其输入一个多层感知机获得f’shape使得其与fp维度匹配，然后将f’shape作为多头注意力机制中的查询，fp作为多头注意力机制中的键值，经过跨注意力后获得融合特征fmix,将fmix与f’shape逐元素相加获得fmix2，最后将fmix2送入激活函数激活后作为残差再次逐元素相加到fmix2中获得最终输出fatt；应用了一致性损失来惩罚fp和fatt之间的差异：Q＝fshape·WQ，K＝fp·WK，V＝fp·WV；fmix＝MH-AttentionQ，K，V； 其中WQ，WK，WV分别代表注意力机制中的QKV矩阵，MH-Attention代表多头注意力机制，Re表示Relu激活函数；S5：构建所述基础模型中的目标函数，最终得到多模态约束的自监督补全神经网络模型；所述目标函数为：引入目标函数强迫预测点云与原始输入Grec对齐，同时强迫Pc与Gcom对齐，将Pc再次输入编码器获得特征fc，在特征空间让fp和fc对齐；表示三个损失函数的和，如下： 给定一个点云其中P表示一个点云，pi表示点云中的第i个点，则以pi为中心的切平面法线方向的总最小二乘估计，通过对其最近邻的协方差矩阵Cov的特征值分解得到，定义为： 其中Cov为协方差矩阵，qj为pi的第j个最近邻，k表示k个最近邻，j表示第j个最近邻，表示其k个最近邻的平均值；最小特征值对应的特征向量是估计的法线方向vi，vi归一化为|vi|＝1；将点pi的正常一致性定义为： 其中两个法线方向之间的点积作为相似性度量，是vi和vj之间的相似性的平均值；nc·的值表示正态相似度的方差，估计局部表面曲率，向量一致性约束表述为： 引入了CLIP损失来监督包含B个点云-文本对的批次： 其中，描述了点云文本对在匹配完整性和文本一致性方面的一致性损失，和分别表示对应的点云形状表示和文本特征编码；τ表示可学习的尺度参数；B为批次大小，exp表示一组正则化函数，log为对数函数，i和j分别表示第i个批次、第j个批次；应用形状一致性损失来监督不完整点云的全局特征和形状特征之间的对齐： Eshape，E分别表示形状编码器和编码器；S6：利用训练数据对所述自监督补全神经网络模型进行训练，再根据已有的残缺点云数据利用训练好的自监督补全神经网络模型补全残缺点云。

全文数据：

权利要求：

百度查询： 中国海洋大学 一种针对水下目标物的自监督三维点云补全方法