买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东金东数字创意股份有限公司

摘要：本发明提供了一种XR穿透场景的AI生成方法、介质及系统，属于XR场景技术领域，包括：获取XR可视实际场景图像生成XR可视虚拟场景二维图像,生成XR可视虚拟场景三维图像,生成实际场景的三维图像；在第二三维图像中获取第三三维图像的可视区域以及遮挡区域，并在遮挡区域中寻找关注主体；计算得到关注主体的二维图像，记为第三二维图像；对第二二维图像进行分区，包括重叠有第三二维图像的重叠区，以及剩余的非重叠区；计算第三三维图像的重叠区和非重叠区；对第三三维图像的非重叠区进行GPU渲染，对第三三维图像的重叠区域采用基于深度信息的GPU+CPU混合渲染，并将渲染后的图像合并得到XR穿透场景。

主权项：1.一种XR穿透场景的AI生成方法，其特征在于，包括以下步骤：S10、获取XR自带的摄像头采集到的XR可视实际场景图像以及实际场景中的多个预先设定好的辅助摄像头采集到的多张辅助图像和多个预选设定好的深度传感器采集的实际场景的3D点云数据；S20、基于所述XR可视实际场景图像,采用卷积神经网络的方式得到XR可视虚拟场景二维图像,记为第一二维图像；S30、基于所述第一二维图像,采用重建算法生成XR可视虚拟场景三维图像,记为第一三维图像；S40、基于所述多张辅助图像以及所述3D点云数据，生成实际场景的三维图像，记为第二三维图像；S50、利用所述第二三维图像对所述一二维图像、和所述第一三维图像进行校正，分别得到矫正后的一二维图像和第一三维图像，分别记为二二维图像和第三三维图像；S60、在所述第二三维图像中获取所述第三三维图像的可视区域以及遮挡区域，并在所述遮挡区域中利用预先训练好的用户关注主体模型寻找关注主体；S70、将所述关注主体在所述第二二维图像上进行投影映射，得到所述关注主体的二维图像，记为第三二维图像；对所述第二二维图像进行分区，包括重叠有所述第三二维图像的重叠区，以及剩余的非重叠区；S80、基于所述第二二维图像的重叠区和非重叠区，计算所述第三三维图像的重叠区和非重叠区；S90、对所述第三三维图像的非重叠区进行GPU渲染，对所述第三三维图像的重叠区域采用基于深度信息的GPU+CPU混合渲染，并将渲染后的图像合并得到XR穿透场景。

全文数据：

权利要求：

百度查询： 山东金东数字创意股份有限公司 一种XR穿透场景的AI生成方法、介质及系统