买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东师范大学

摘要：本发明公开了一种基于特征网格映射的高效语义三维重建方法，其特点是采用三维高斯模型进行低维特征的渲染，利用低维特征距离来匹配目标特征网格进行高维度语义特征恢复，实现像素级目标开放语义查找，具体包括：语义特征初始化提取、构建特征网格映射、特征训练和结果查询等步骤。本发明与现有技术相比具有高效、可行的三维重建结果，实现基于自然语言进行准确的查询，解决了许多语义三维重建方法只能基于少数固定标签词、效率低无法真正实时交互、精准度和稳定性不足的问题，可进一步赋能智能家用、工业机器人和自动驾驶场景的环境感知与交互，具有广泛的运用前景和商业开发价值。

主权项：1.一种基于特征网格映射的高效语义三维重建方法，其特征在于，采用三维高斯模型进行低维特征的渲染，利用低维特征距离来匹配目标特征网格进行高维度语义特征恢复，实现像素级目标开放语义查找，具体包括下述步骤：步骤1：语义特征初始化提取1.1对输入的已标定RGB图片序列，投入分割一切的预训练模型，以32x32的点阵作为指示进行分割，选取完整尺度的结果，得到分割物品图片序列Seg_Items；1.2将分割结果投入对比语言-图像预训练模型，得到所有物品所有视角下的准确高维语义编码High_Embeds；步骤2：构建特征网格映射2.1以序列第一张图初始化特征网格Grid，设该图中有K个物品分割，则初始化Grid尺度为其中d为低维特征维度数，且Grid中每一个格项大小为512维；2.2按顺序历遍输入图片序列，对每张图片及其获取的分割和语义信息与前序图片进行匹配，将相同物品的特征分配到同一Grid，并依据图像特征匹配和颜色-语义综合特征相似度进行物品级匹配，所述图像特征匹配使用SIFT描述子以及K临近算法；所述颜色-语义综合特征相似度simi,j由下述a式表示为： 其中，和分别为两物品RGB颜色数据向量以及对比语言-图像预训练模型编码的特征向量相似度，Ci,Cj分别为两物品的颜色特征；Li,Lj分别为两物品的对比语言-图像预训练模型编码；α为权重；2.3首图初始化后对后续每个物品在前图中进行特征匹配，若匹配特征点数量大于阈值τ，则直接判定匹配，将当前物品特征存入匹配Grid中，并对当前物品所含像素坐标赋予映射的低维特征；若匹配特征点数量不足，则计算颜色-语义综合特征相似度，在所有前序图中进行匹配，当相似度大于阈值θ时认定匹配，对匹配物品赋予映射的低维特征，反之则未满足匹配；对未匹配物体分配新的Grid初始化语义特征并增加新的对应低维特征，重复上述匹配操作，直至完全遍历所有物体；步骤3：特征训练3.1给定相机位姿v，定义三维高斯下每个像素的低维特征Fv,p为对叠加在该像素上的所有高斯球N的混合调制，其渲染特征Fv,p由下述b式表示为： 其中，f表示低维特征；ai由二维高斯协方差和学习到的每个高斯球的不透明度；3.2低维特征的损失函数Lf由L1函数和D-SSIM结构共同组成的c式表示为：Lf＝1-λL1+λLD-SSIMc；其中，λ设为超参数；步骤4：结果查询4.1给定相机位姿v，将低维特征投影到观察平面，并按b式进行该视角下的像素低维特征计算；4.2给出自然语言查询词后利用对比语言-图像预训练模型，得到查询词的文本编码，将其和Grid中所有的编码进行相似度计算，找到具有最高相似度的Grid及其映射的低维特征；4.3用该低维特征和渲染特征Fv,p由下述d式计算欧几里得距离Disgf: 其中，Disgf小于激活阈值τac的像素即构成查询结果的掩码。

全文数据：

权利要求：

百度查询： 华东师范大学 一种基于特征网格映射的高效语义三维重建方法