买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提出了一种基于多视角投影的跨维数据检索方法，该方法包括：获取二维图像数据和对应匹配的原始三维点云；对对应匹配的原始三维点云进行体素化处理，以得到对应的体素；将对应的体素投影到二维空间以生成每个二维图像对应匹配的点云多视角投影图像；根据孪生网络构建深度学习模型，并将二维图像数据和对应匹配的点云多视角投影图像输入到深度学习模型进行训练；获取多个待检索的二维图像和三维点云，并基于训练好的深度学习模型从二维图像对三维点云进行检索，以得到每个待检索的二维图像在所有三维点云中最匹配的三维点云；由此，可缩小点云数据在跨维匹配中与二维图像的数据差异，从而提高二维图像到三维点云的检索准确率。

主权项：1.一种基于多视角投影的跨维数据检索方法，其特征在于，包括以下步骤：获取二维图像数据和与所述二维图像数据中每个二维图像对应匹配的原始三维点云；对所述二维图像数据中每个二维图像对应匹配的原始三维点云进行体素化处理，以得到对应的体素；将所述对应的体素投影到二维空间以生成每个二维图像对应匹配的点云多视角投影图像；根据孪生网络构建深度学习模型，并将所述二维图像数据和与所述二维图像数据中每个二维图像对应匹配的点云多视角投影图像输入到所述深度学习模型进行训练；获取多个待检索的二维图像和三维点云，将所述多个待检索的三维点云输入到训练好的深度学习模型中以得到点云特征描述，并将所述多个待检索的二维图像输入到训练好的深度学习模型中以得到图像特征描述，以及根据所述点云特征描述和所述图像特征描述检索每个待检索的二维图像在所有三维点云中最匹配的三维点云；其中，对所述二维图像数据中每个二维图像对应匹配的原始三维点云进行体素化处理，以得到对应的体素，包括：将原始三维点云的立方体边界框作为边界进行体素化空间划分；在所述划分的体素化空间中均匀分割多个立方体，并将每个立方体作为一个体素；将每个体素的体素值定义为每个立方体空间中包含的点云RGB值的均值；其中，根据孪生网络构建深度学习模型，包括：采用深度学习孪生网络结构框架搭建，设计具有图像分支和点云分支的非对称结构双分支网络；其中，所述图像分支包括基于卷积网络的图像特征提取网络，以便通过所述图像特征提取网络处理二维图像数据，以得到对应的图像特征描述；其中，所述点云分支包括基于点云多视角投影的点云特征提取网络和融合点云纹理特征和点云结构特征的融合网络，点云特征提取网络包含纹理感知器和结构感知器，以便通过纹理感知器和结构感知器对点云数据进行处理，以得到点云纹理特征和点云结构特征；融合点云纹理特征和点云结构特征的融合网络，同时接收所述点云纹理特征和点云结构特征，融合以得到对应的点云特征描述；局部特征损失函数设计，损失函数依照训练过程中采样的二维图像负样本和三维点云负样本，使图像特征描述和点云特征描述的距离拉近，使图像特征描述与三维点云负样本以及点云特征描述与二维图像负样本的距离疏远。

全文数据：

权利要求：

百度查询： 厦门大学 基于多视角投影的跨维数据检索方法