买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌航空大学

摘要：本申请公开了一种双目立体匹配方法、设备、介质及产品，涉及双目立体匹配领域，该方法包括构建双目立体匹配模型；并利用双目数据集训练双目立体匹配模型；双目立体匹配模型包括：特征提取网络、几何先验引导模块、视差融合细化代价体积模块以及高效聚合模块；所述几何先验引导模块包括：自注意力层、几何特征交互层以及MLP子模块；利用训练好的双目立体匹配模型对双目图像对进行视差图预测，并根据视差图进行双目立体匹配；本申请能够提高视差估计的可靠性和鲁棒性。

主权项：1.一种双目立体匹配方法，其特征在于，所述双目立体匹配方法包括：构建双目立体匹配模型；并利用双目数据集训练双目立体匹配模型；双目立体匹配模型包括：特征提取网络、几何先验引导模块、视差融合细化代价体积模块以及高效聚合模块；所述几何先验引导模块包括：自注意力层、几何特征交互层以及MLP子模块；利用训练好的双目立体匹配模型对双目图像对进行视差图预测，并根据视差图进行双目立体匹配；双目图像对包括：左侧图像和右侧图像；利用训练好的双目立体匹配模型对双目图像对进行视差图预测的过程为：利用特征提取网络分别提取左侧图像和右侧图像的特征，得到左侧图像特征和右侧图像特征；对左侧图像特征和右侧图像特征进行预处理；所述预处理包括：添加固定的二维正弦和余弦位置编码；利用自注意力层分别确定左侧图像的自注意力特征和右侧图像的自注意力特征；根据左侧图像的自注意力特征和右侧图像的自注意力特征中每对像素点之间的相似度得分确定用来衡量左侧图像和右侧图像的亲和性特征；将亲和性特征和交叉注意力层融合在一起形成几何特征交互层，并利用几何特征交互层整合左侧图像和右侧图像的几何先验信息，得到左侧图像的几何交互特征和右侧图像的几何交互特征；利用MLP子模块将左侧图像特征和相应的几何交互特征进行拼接，得到左侧图像特征表示；同时利用MLP子模块将右侧图像特征和相应的几何交互特征进行拼接，得到右侧图像特征表示；将每个视差水平的左侧图像特征表示和右侧图像特征表示进行拼接，得到初始拼接代价体积；根据左侧图像特征表示中每个位置与右侧图像特征表示中沿一维水平方向的特征相似性确定相关性矩阵，并对相关性矩阵进行softmax操作、掩码操作以及加权平均得到一维对应关系，根据一维对应关系对应坐标与一维对应关系的差值确定视差特征；将视差特征与初始拼接代价体积进行沿着通道维度的拼接融合，构成视差融合细化代价体积；利用高效聚合模块中的3D卷积子模块对视差融合细化代价体积进行卷积操作；利用高效聚合模块中聚合子模块对卷积操作后的视差融合细化代价体积进行底层特征提取；聚合子模块包括4个3D卷积子模块；根据底层特征预测视差图。

全文数据：

权利要求：

百度查询： 南昌航空大学 一种双目立体匹配方法、设备、介质及产品