买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：温州大学大数据与信息技术研究院

摘要：本发明提供了一种基于多视图三维重建的虚实融合增强现实呈现方法，涉及图像处理技术领域，包括：构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征；确定角点特征点，并为每个角点特征点创建特征点描述符，形成表示二进制描述符的矩阵；根据获取的矩阵进行特征点匹配，并计算模型视图矩阵，结合摄像机的投影矩阵，估计三维模型在真实场景中出现的位置，完成三维注册；基于景观模型的多视图进行三维重建和优化调整；将优化调整后的三维模型与投影矩阵进行虚实融合，将融合结果通过智能显示设备进行显示，本发明通过基于自然特征的三维注册与基于SFM算法的多视图三维重建技术，使得虚实融合的效果更接近真实场景所具备的真实性。

主权项：1.一种基于多视图三维重建的虚实融合增强现实呈现方法，其特征在于，包括以下步骤：构建DoG尺度空间对采集到的图像数据进行特征提取训练，获取模板图像特征；对捕获的自然场景视频帧进行特征提取，采用Harris角点检测方法确定角点特征点，并为每个角点特征点创建特征点描述符，得到用来表示二进制描述符的矩阵，该矩阵每一行表示一个特征点的二进制描述符；根据获取的矩阵进行特征点匹配，并计算模型视图矩阵，结合摄像机的投影矩阵，估计三维模型在真实场景中出现的位置，完成三维注册；基于景观模型的多视图进行三维重建，得到三维模型，并对所述三维模型进行优化调整；将优化调整后的三维模型与摄像机的投影矩阵进行虚实融合，并将融合结果通过智能显示设备进行显示；所述为每个角点特征点创建特征点描述符包括：将RGB格式的自然场景视频帧图像转换为灰度图像，根据公式：计算图像在点移动后的灰度变化；根据泰勒展开方法及偏导函数，得到：，其中，，通过计算角点响应值，将图像中的点进行分类，其中，表示图像窗口中的点，代表图像在点的加权函数，，，是的偏导数，，，经验常数c的值范围在[0.04,0.06]；设置一个阈值，对计算出的角点响应值R进行阈值处理，当R的值大于阈值时且为该点领域内的局部极大值时，则将该点作为角点特征点；结合人眼视网膜处理不同精度图像信息的区域划分，采用FREAK算法将采样结构中最中心的点作为特征点，剩余圆心作为采样点，FREAK算法采用二进制串描述特征点，的值由公式：决定，其中，和表示采样点对中前一个和后一个采样点经过高斯模糊后的像素值；将位的二进制串进行过滤，去除不具辨识性的描述子，建立用来表示二进制描述符的矩阵。

全文数据：

权利要求：

百度查询： 温州大学大数据与信息技术研究院 一种基于多视图三维重建的虚实融合增强现实呈现方法