买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：娄浩哲

摘要：本发明公开了一种基于单目视频的高保真度仿真模型构建方法，过程为：通过环拍图像数据集得到智能设备和物体的点云模型，对点云模型结合环拍数据集进行处理，得到智能设备和物体所在环境的三维场景模型，并建立三维网格模型；通过建立三维场景模型中每一基础单元和三维网格模型每一顶点的映射关系，使两者在仿真环境中同步运动，并对多视角图像进行语义分割，利用统计学方法将三维网格模型划分为不同部分；最后为各部分添加物理属性，得到一个具有高纹理渲染与高保真度的可训练仿真模型。本发明提供实时的真实场景的虚拟建模以及渲染，在获取真实图像手段简单、消耗计算资源少的同时，确保了高保真的建模质量。

主权项：1.一种基于单目视频的高保真度仿真模型构建方法，其特征在于：包括以下步骤：步骤1，对智能设备和物体及周围环境进行环拍，得到智能设备和物体的环拍视频数据；步骤2，对环拍视频数据每隔一秒提取一张帧图像，并对环拍视频数据进行切帧处理，得到智能设备和物体的环拍图像数据集；步骤3，通过环拍图像数据集得到智能设备和物体的点云模型，点云模型中的点表示为x，y，z，其中x，y，z为点云中每个点在空间直角坐标系中的坐标；步骤4，对点云模型结合环拍数据集进行处理，得到智能设备和物体所在环境的三维场景模型，所述三维场景模型由三维高斯椭球构成，并表示为：G＝X，∑，A，SH其中，G代表高斯球集合，X＝{x1，x2，...}为三维高斯椭球的中心点的集合，xi∈X是每个三维高斯椭球的中心点坐标，∑＝{σ1，σ2，...}为三维高斯椭球的协方差矩阵集合，σi∈∑是每个三维高斯椭球的协方差矩阵，代表每个高斯球在空间中的伸缩比例和旋转角度；A＝{a1，a2，...}为三维高斯椭球透明度参数集合，ai∈A是每个三维高斯椭球在RGB颜色空间中的透明度，SH＝{sh1，sh2，...}为三维高斯椭球球谐函数系数集合，shi∈SH是每个三维高斯椭球的球谐系数，代表某一视角观察时高斯椭球的颜色；步骤5，将三维场景模型中每个高斯椭球中心点的位置坐标X作为网格顶点建立智能设备和物体的三维网格模型，三维网格模型表示为：M＝V，E，F其中，V＝{v1，v2，...}为三维网格模型点的集合，vi∈V是网格模型中每个点的坐标，且vi＝xi，E＝{e1，e2，...}为三维网格模型边的集合，ei∈E是三维网格模型中的某一条边，F＝{f1，f2，...}为三维网格模型面的集合，fi∈F是三维网格模型中的一个面；步骤6，通过环拍图像数据集得到智能设备和物体及所在环境的多视角语义图像，对第i张语义图像，表示为：Segi＝{s1，s2，...，sj，...}其中，Segi表示第i张语义图像的语义集合，sj表示第i张语义图像中的第j个语义部分；步骤7，对三维网格模型进行划分，对三维网格模型中的第i个点vi，沿视角j向第j个语义图像投影，点vi落在j语义图像中第p个部分，记为pij∈Segi；针对所有视角下的图像，得到点vi的多视角语义组[pi1，pi2，...，pij，...]，则三维网格模型中点vi的语义为Si：Si＝Mode[pi1，pi2，...，pij,...]，pij∈Seg其中，Si表示点vi的语义属性，Mode*表示求众数运算，针对所有点vi∈V，将具有相同语义属性Si的点vi划分成一组，得到语义分割后的三维网格模型MS：MS＝{S1，S2，...，Sn，...}其中，Sn表示三维网格模型的第n个部分；步骤8，对三维网格模型MS中的每个部分添加物理属性，对第n个部分Pn∈{S1，S2，...，Sn，...}，添加物理属性phyn：phyn＝{θn，ln，mn，In，Fn，τn，μn}其中，phyn是三维网格模型MS的Pn部分对应的物理属性集合，θn是Pn部分的初始旋转角度，ln是Pn部分的长度，mn是Pn部分的质量，In是Pn部分的转动惯量，Fn是Pn部分所受外力，τn是Pn部分所受外力矩，μn是Pn部分与相邻部分接触面的摩擦系数；步骤9，将分割后的三维网格模型MS导出为文件，并保存三维网格模型Ms中每个点vi与三维场景模型中对应高斯球的中心点xi的对应关系；在Δt时间内，三维网格模型MS的第n部分Pn的运动关系Motn分解为：Motn＝[Rn，Tn]其中，Rn是Pn部分在Δt时间内的旋转矩阵，表示Δt时间内Pn部分的旋转角度；Tn表示Pn部分在Δt时间内的位移向量，表示Δt时间内Pn部分的位移距离；然后，对三维网格模型MS中Pn部分的所有点Vi，将运动关系Motn应用到与点集Vi对应的三维场景模型中对应的高斯球集合Gi中，使三维场景模型的Gi部分进行相同的旋转和平移运动，进行三维场景模型中智能设备和物体的运动；步骤10，当控制三维网格模型运动时，三维场景模型中的模型也随之运动，并根据给定的位置和视角渲染高保真度的图像，构建基于单目视频的高保真度仿真模型。

全文数据：

权利要求：

百度查询： 娄浩哲 一种基于单目视频的高保真度仿真模型构建方法