买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国海洋大学

摘要：本发明公开了一种基于非标定单视图的三维目标重建方法，属于计算机视觉领域。首先通过SAM模型从图像中有效的从背景中分割出物体数据，将这些物体数据作为训练的图像数据；然后通过多模态大模型CLIP的图像编码器进行编码，获得图像特征数据；随后基于高斯模型先后进行粗粒度和细粒度的物体点云生成；然后把生成的点云分成点云簇，传入一个点云特征编码器生成点特征，再基于交叉注意力机制，对图像特征和点云特征进行两阶段的融合；最后结合融合特征对密集点云的细节恢复与真实点云基于倒角距离的损失函数去进行模型参数学习进而对物体点云重建。经过实际验证，本发明提供的目标重建方法具有高效、精度高的特点。

主权项：1.一种基于非标定单视图的三维目标重建方法，其特征在于，包括如下步骤：S1：获取待处理图像数据，针对有背景的图像数据进行前景与背景的分割提取，将分割后的前景图像数据，作为待训练的图像数据；S2：利用多模态大模型CLIP的图像编码器，对待训练的图像数据进行编码而获得图像特征；S3：先进行粗粒度高斯点云生成：使用Hehun采样的方法，获得稀疏的点云数据；其中，物体的图像数据编码成图像特征以后，通过高斯生成第一阶段的粗粒度物体点云，将点云形状表示为K×6的张量，其中K是点数，内部维度包含x,y,z坐标以及R,G,B颜色；第一阶段高斯点云生成公式如3所示： 其中，表示的是第一阶段的第i个物体的粗粒度点云，G1是第一阶段的高斯点云生成模型，为第i个物体的图像数据，t代表的是时间步长的编码，σ代表的是随机噪声的编码；S4：再进行细粒度高斯点云生成，获得密集的点云数据，以保证重建后的物体完整性和完善性；在S3第一阶段高斯生成模型中完成初始点云的生成，需要在第二阶段进一步上采样完成对密集点云的生成；实现的具体公式12所示： 其中，为第二阶段的第i个物体的密集点云，G2表示第二阶段的高斯点云生成模型，为第一阶段的第i个物体的密集点云；S5：进一步通过交叉注意力机制实现图像信息与三维点云信息的结合，对所述密集的点云数据的细节进行重建和修复；交叉注意力描述为将一个查询和一组键值对映射到一个输出，其中，查询、键、值和输出都是向量；其中根据查询、键和值的不同把二维图像信息与三维信息的融合分为两个阶段，一个阶段是图像特征信息丰富三维特征信息，把三维点云特征作为查询，图像特征作为键和值；另一个阶段是三维特征信息丰富图像特征信息，把图像特征作为查询，三维特征作为键和值，其中N为批次大小；具体如下：S5-1：首先对三维特征Fpointcloud和图像特征Fimage进行线性变换，随后重塑为多头注意力所需的形状其中8表示的是注意力头的数量，24是通道组的数量，4是通道数；再基于此线性变换计算查询与键之间的权重，为了计算的稳定性，将获得的权重进行softmax归一化操作；S5-2：然后，再次对图像特征Fimage进行独立于权重计算的新的线性变换；S5-3：最后，将注意力权重与经过线性映射后的图像特征Fimage相乘，得到加权后的值，将加权后的值进行转置和重塑，以便通过线性映射将多头注意力的输出映射回原始维度；S6：最后采用监督学习的方式，基于S5处理后的密集的点云数据与真实的点云数据构建损失函数：包括位置损失函数和形状损失函数；S7：将待测的图像数据进行S1-S5的处理过程，并结合S6构建的损失函数，得到重建的点云数据，输出。

全文数据：

权利要求：

百度查询： 中国海洋大学 一种基于非标定单视图的三维目标重建方法