买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国标准化研究院

摘要：本发明公开了一种多模态电子信息系统视图处理方法，涉及图像处理技术领域，包括采集多模态视图数据并进行语义识别和语义标签分配，根据语义标签进行像素块分割；对分割后的像素块进行匹配，确定关联像素块的像素值；将已确定像素值的不同模态图像进行融合生成综合视图并进行三维重建。本发明采用语义识别和标签分配技术，通过对多模态视图数据进行精确的语义理解，并结合像素块的语义标签和空间位置，利用综合视图中的语义信息和精确匹配的像素块，生成更为准确和真实的三维模型，能够有效地进行像素块分割和匹配，从而在融合不同模态图像生成综合视图时，能够保留更多的视图信息和细节，提高了视图处理的效率和准确性。

主权项：1.多模态电子信息系统视图处理方法，其特征在于：包括，采集多模态视图数据并进行语义识别和语义标签分配，根据语义标签进行像素块分割；对分割后的像素块进行匹配，确定关联像素块的像素值；将已确定像素值的不同模态图像进行融合生成综合视图并进行三维重建；所述根据语义标签进行像素块分割指将语义识别后的图像分割成具有相似颜色和纹理特征的小区域，公式如下， 式中，Dx表示对图像x进行超像素分割的结果，xp表示像素点p在原始图像中的颜色向量，ci表示超像素块Si的平均颜色向量，p表示像素点p的空间位置，gi表示超像素块Si的几何中心，γ是正则化参数，Lp表示像素点p的预测语义标签向量，Li表示超像素块Si的平均预测语义标签向量；根据实时语义识别的结果，将每个像素点的语义标签映射到对应的超像素块上，使用边缘检测算法确定当前帧图像中的边界，并根据边界对已标记的超像素块进行调整；所述将已确定像素值的不同模态图像进行融合生成综合视图指将模态图像中每个像素点的最终的像素值映射到相应的颜色上生成该模态的融合图像后使用基于深度学习的融合方法融合不同模态的融合图像，将所有模态的融合图像输入进神经网络中，根据神经网络的输出，生成最终的综合视图；所述进行三维重建指使用深度学习模型从生成的综合视图中估计出深度图后根据深度图和相机内参，将每个像素点转换为三维空间中的点，构建点云表示；将不同视角的点云融合成一个完整的三维模型；使用表面重建算法从点云中重建出三维物体的表面模型。

全文数据：

权利要求：

百度查询： 中国标准化研究院 多模态电子信息系统视图处理方法