买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：本发明公开了一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法，首先在PC端进行预处理，将目标点云数据进行三维重建并导入三维渲染引擎；在三维引擎中采用旋转拍照算法得到目标在不同视角下的二维照片，通过本发明提出的关键体素块提取算法标注照片并建立训练数据集；采用具备轻量级高性能优势且适用于移动端计算的ShuffleNetv2‑YOLOv3训练目标关键体素块检测模型；从移动端摄像头读取视频流，通过ShuffleNetv2‑YOLOv3模型检测目标关键体素块，将关键体素块中心点对应的2D‑3D点对通过RANSAC和EPNP算法计算得到目标的相对位姿。最后利用移动端优势通过内置IMU和GPS提供的数据计算目标在实际三维世界中的位姿。

主权项：1.一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法，包括以下步骤：步骤1：对激光扫描得到的目标点云数据进行三维重建；将三维重建获得的三维模型导入渲染引擎以供拍照；步骤2：采用定位旋转拍照算法分别获取目标在不同视角下的二维照片及相机位姿；通过SIFT提取二维照片特征点并计算对应三维特征点，将目标模型划分为大小相等的体素块，根据三维特征点数量筛选目标关键体素块；生成关键体素块在照片集上的二维投影并建立训练数据集；通过ShuffleNetv2-YOLOv3轻量级网络训练针对目标的ShuffleNet特征检测模型；步骤2的具体实现包括以下子步骤：步骤2.1：在三维引擎中对目标拍照得到目标照片；步骤2.2：通过SIFT算法检测目标照片中的二维特征点，得到特征点集K＝{k1,...,kn}；步骤2.3：通过屏幕射线投影算法计算每个特征点ki对应的三维坐标点pi，将二维特征点对应的三维特征点集记为P＝{p1,...,pn}；步骤2.4：相机围绕目标旋转并继续为目标拍照，重复步骤2.2和步骤2.3直到得到目标的多视角照片并计算得到三维特征点集PS＝{P1,...,PN}，其中，N为照片数量，P为每张照片的三维特征点集；步骤2.5：将目标三维体素划分为M个相同体素大小的块B＝{b1,...,bM}；将三维特征点出现在每个体素块中的频率设置为体素块权值q，筛选权值最大的m个块KB＝{b1,...,bm}作为关键体素块，其中mM；步骤2.6：将关键体素块作为类别，根据投影变换公式计算其在二维照片集上的区域，生成标注信息，得到训练数据集；步骤2.7：通过生成的数据集训练ShuffleNetv2-YOLOv3，得到针对目标关键体素块的检测模型；步骤3：将视频流输入训练好的ShuffleNetv2-YOLOv3目标关键体素块的检测模型，识别关键体素块得到2D-3D匹配点对，通过RANSAC和EPNP算法计算目标相对位姿；步骤4：结合移动端GPS和IMU信息计算目标在三维世界中的绝对位姿。

全文数据：

权利要求：

百度查询： 武汉理工大学 基于点云预处理和ShuffleNet的移动端三维位姿估计方法