买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：刘杰

摘要：本发明涉及混合现实技术和增强现实技术领域，具体涉及一种混合现实双目立体视觉图像实时远程渲染方法。本发明采用外部计算硬件设备替代可穿戴式混合现实MR或增强现实AR眼镜本机上的CPU、GPU、内存、存储等设备的运算，通过外部设备实时计算、渲染以达到如在本机上运行的同样效果，从而解决工业领域中高精度、高复杂度的三维模型数据内容的可计算、可运行的呈现和操作效果。

主权项：1.一种混合现实双目立体视觉图像实时远程渲染方法，其特征在于，包括以下步骤：S1,MRAR设备端通过摄像头采集的物理世界物体深度数值，构建空间位置信息，将所述空间位置信息发送至外部计算设备，其中，所述空间位置信息包括物理空间三维网格化数据集、世界空间坐标系、头部空间坐标系和双眼摄像机透视投影矩阵；S2,外部计算设备端通过接收来自MRAR设备端发送的空间位置信息，构建虚拟三维世界空间坐标系，并在虚拟三维世界空间坐标系中还原MRAR头部空间位置；外部计算设备端根据MRAR设备端发送的双眼摄像机透视投影矩阵，创建和实时同步左、右眼对应的虚拟三维渲染摄像机，进行双眼图像三维虚拟内容的计算和渲染，并将渲染后的图像以及对应的空间数据编码后回传至MRAR设备端；所述步骤S2包括：在外部计算设备端构建虚拟三维空间坐标系，在初始时刻虚拟三维空间世界坐标系的初始位置与MRAR设备的世界空间坐标系的初始位置重合，均为XYZ0,0,0；外部计算设备端接收由MRAR设备端发送的空间位置信息，利用物理空间三维网格化数据集创建虚拟三维世界空间坐标系，创建虚拟头部空间坐标系还原映射物理空间头部空间坐标系，实时接收MRAR设备端的头部数据，不断将物理头部空间信息映射绑定在虚拟头部空间坐标系中；利用平均人类双眼瞳间距离数值，在虚拟头部空间坐标系中构建虚拟双眼，即左、右渲染摄像机；利用MRAR设备端发送的双眼摄像机透视投影矩阵，在虚拟头部空间坐标系构建左右渲染摄像机的投影空间，在外部计算设备中还原MRAR设备左右眼的观看方向、角度和屏幕渲染范围；每时刻或每帧通过实时接收MRAR设备端发送的空间位置信息，实时同步更新在外部计算设备端的左右渲染摄像机的空间坐标系数据、每个渲染摄像机的透视投影矩阵数据，保持时刻还原MRAR设备的头部空间位置和左右渲染摄像机的方向、角度和渲染范围；对左、右摄像机渲染图像处理；实时接收来自MRAR设备端发送的交互指令操作信息、双手空间位置信息、手势识别指令信息操作指令，根据不同的交互指令，控制在外部计算设备端中的三维模型数据的交互控制操作方式；S3,MRAR设备端对外部计算设备端回传的数据进行解码处理，生成二维图像序列化数组数据及交互操作指令数据，将二维图像序列化数组绘制为左右双眼二维平面图像，并将该平面图像更新绘制到MRAR设备端左右眼屏幕上，交互操作指令用于远程手势控制三维物体的操作功能。

全文数据：

权利要求：

百度查询： 刘杰 混合现实双目立体视觉图像实时远程渲染方法