买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军军事科学院系统工程研究院;威海众合机电科技有限公司

摘要：本发明公开了一种用于增强现实虚实对齐的标定校准系统及方法，该方法包括AR光机、固连结构件和环境探测成像设备；AR光机和环境探测成像设备之间通过固连结构件连接；AR光机的成像光轴和环境探测成像设备的镜头光轴平行于系统所在空间的z轴，垂直于系统所在空间的xoy平面。获取环境探测成像设备和AR光机的相对位置信息、成像参数，环境探测成像设备拍摄现实环境影像并提取或者生成与之对应的增强现实信息，获取环境实物与所述环境探测成像设备之间的相对距离信息，对增强现实信息进行缩放、平移和旋转处理，完成虚实对齐。本发明可以使AR光机和环境探测成像设备的初始相对位置的设计更加的灵活，实用性更高。

主权项：1.一种用于增强现实虚实对齐的标定校准系统，其特征在于，所述系统包括AR光机11、固连结构件12和环境探测成像设备13；所述AR光机11和所述环境探测成像设备之间通过所述固连结构件12连接，形成稳定的空间相对位置坐标；所述AR光机11的成像光轴和环境探测成像设备13的镜头光轴平行于所述标定校准系统所在空间的z轴，垂直于所述标定校准系统所在空间的xoy平面；应用于所述用于增强现实虚实对齐的标定校准系统的标定校准方法包括：S1，对所述AR光机、固连结构件和环境探测成像设备进行装配连接，锁定所述AR光机和所述环境探测成像设备的相对位置；S2，获取所述环境探测成像设备和所述AR光机的相对位置信息和成像参数信息；S3，利用所述环境探测成像设备进行拍摄，得到现实环境影像；S4，对所述现实环境影像进行处理，得到所述现实环境影像的增强现实信息；所述处理包括进行图像预处理，包括高斯滤波，图像去噪，图像增强；利用边缘检测算法，对成图像中的纹理进行勾勒，并去除填充部分，只保留环境纹理等有用信息，对于其它的非纹理的填充信息进行去除，以符合增强现实的穿透显示的特点；边缘检测算法为：从采集的有效图像数据中随机抽取训练集，保证训练集与验证集无交叉重复数据，并对其进行标注，形成标签文件，完成训练集的制作；将制作好的数据集作为深度卷积网络的输入，并搭建BlendMask网络；对BlendMask网络训练好的模型进行改进，得到改进后的BlendMask模型；使用验证集图像测试改进后的BlendMask模型，得到边缘检测结果；采用准确率指标评价模型的检测结果，并根据检测结果调整模型的参数，直到训练集指标与验证集指标接近；在原有训练模型基础上对算法进行改进，更换主干网络、引入可变形卷积和优化损失函数，对改进后的算法进行接续训练；测试并分析改进后的模型，对比得到边缘检测效果最佳的模型；环境探测成像设备拍摄现实环境影像并提取或者生成与之对应的增强现实信息：通过环境探测成像设备单次拍摄或者连续拍摄环境影像，并根据业务需要，进行目标提取或者对目标物进行增强现实渲染，生成对应的增强现实图形信息；S5，对所述现实环境影像进行处理，提取环境实物与所述环境探测成像设备之间的相对距离信息，并将所述环境实物在现实世界物理空间的位置信息向所拍摄影像空间中的位置信息进行转换，得到影像空间位置信息；S6，利用所述环境探测成像设备，根据所述相对位置信息、成像参数信息和影像空间位置信息，对所述现实环境影像的增强现实信息进行处理，得到所述增强现实信息在所述AR光机的虚拟显示画面中的显示比例信息和显示位置信息；所述成像参数信息包括但不限于所述环境探测成像设备的成像参数信息和所述AR光机的成像参数信息；所述环境探测成像设备的成像参数信息包括环境探测成像设备的视场角、光圈大小、焦距、分辨率信息；所述AR光机的成像参数信息包括但不限于AR光机的视场角、对焦距离、显示分辨率信息；S7，根据所述增强现实信息在所述AR光机的虚拟显示画面中的显示比例信息和显示位置信息，对所述增强现实信息进行缩放、平移和旋转处理，得到虚拟增强现实信息；所述缩放为：将图像输入深度可分离卷积层处理；利用多尺度特征提取模块CDCM丰富多尺度边缘信息；根据空间注意力机制模块CSAM来消除特征图像中的背景噪声；利用1×1卷积层进一步将图像特征量缩小到单一通道图，通过插值将图像还原至原来大小；使用Sigmoid函数创建各阶段边缘图，再通过四个阶段产生的单独通道特征图与级联，单点卷积融合后提取最终图像边缘；通过边缘提取后遍历判断所有像素点所处区域，运用双线性插值算法处理非边缘区域，运用协方差自适应插值边缘点区域，采用线性插值算法完成对边缘线方向点的处理；合并插值结果，完成图像插值；S8，对所述现实环境影像和虚拟增强现实信息进行虚实对齐，得到增强现实虚实对齐结果。

全文数据：

权利要求：

百度查询： 中国人民解放军军事科学院系统工程研究院 威海众合机电科技有限公司 一种用于增强现实虚实对齐的标定校准系统及方法