买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学

摘要：本发明提供了一种基于多尺度特征相关性增强的单目图像深度估计方法。该方法包括：利用多模态RGB‑Depth融合模块对输入的RGB图像进行数据增强的预处理操作；使用多尺度深度编码模块提取数据增强后的多尺度特征图；在解码阶段使用RFF模块获取细粒度特征图，使用MFCE模块增强多尺度特征中的不同尺度间特征的相关性，通过结合RFF模块和MFCE模块融合和优化特征图，并获得逐像素深度图；通过深度表征目标函数优化整个单目深度估计网络模型的训练，确保泛化能力。本发明方法增强全局特征与局部特征之间的相关性，学习有效的外观结构信息，解决了由纹理偏差导致对外观结构错误估计的问题，重建了清晰稠密的单目深度图。

主权项：1.一种基于多尺度特征相关性增强的单目图像深度估计方法，其特征在于，包括：利用多模态RGB-Depth融合模块对输入的RGB图像进行数据增强的预处理操作；使用多尺度深度编码模块提取数据增强后的多尺度特征图；在解码阶段使用RFF模块根据所述多尺度特征图获取细粒度特征图，使用MFCE模块增强多尺度特征中的不同尺度间特征的相关性，通过结合RFF模块和MFCE模块融合和优化特征图，获得所述输入的RGB图像的逐像素深度图；所述的利用多模态RGB-Depth融合模块对输入的RGB图像进行数据增强的预处理操作，包括：所述多模态RGB-Depth融合模块采用切片方式将地面真实深度图融合到RGB图像中，在水平和垂直方向随机选取深度图的一部分区域粘贴到彩色图像的相同位置，用表示RGB图像，形成具有深度信息的RGB-D图像，用表示地面真实深度图，W和H分别是图像的宽度和高度，Cs和Ct分别表示RGB图像和地面真实深度图中的通道数，数据增强后的图像x's表示为：x′s＝M×xs+1-M×xt1若Cs和Ct数目不同，则将RGB图像和地面真实深度图在通道方向上组合使两者的通道数一致，M矩阵M∈{0,1}，表示xs被xt替换的区域，宽高w,h和替换区域的位置表示为：w,h＝minW-a×W×c×p,1,minH-a×H×c×p,12image[x:x+w,:,i]＝depth[x:x+w,:]3image[:,y:y+h,i]＝depth[:,y:y+h]4其中x＝a×W，y＝a×H，i表示RGB图像的三个通道数，a和c是范围在0,1之间的系数，p表示超参数p∈0,1]；所述的解码阶段使用RFF模块获取细粒度特征图，使用MFCE模块增强多尺度特征中的不同尺度间特征的相关性，通过结合RFF模块和MFCE模块融合和优化特征图，并获得逐像素深度图，包括：设所述多尺度特征中包括具有不同分辨率的低分辨率特征图F1和较高分辨率特征图F2，RFF模块将所述低分辨率特征图F1通过双线性插值的上采样将分辨率提高到与较高分辨率特征图F2相同，将所述低分辨率特征图F1和所述较高分辨率特征图F2在同一维度上拼接，获得特征图F3，将所述特征图F3由两支路的卷积来获取不同感受野的特征，上支路采用卷积核为3的二维卷积提取特征，并由BatchNorm神经网络层标准化输入数据，最后由ReLU激活函数增加网络各层间的非线性关系；下支路采用5×5的二维卷积提取特征并由BatchNorm进行归一化，将上下两支路获取的特征进行融合，获取融合特征图FRFF：F3＝CatUpF1,F25FRFF＝Cov5,5Cov3,3F3+Cov5,5F36其中Up·表示为双线性插值的上采样过程，Cov3,3·和Cov5,5·分别表示3×3的卷积和5×5的卷积；设MFCE模块中输入的多尺度特征图记为W和H分别表示为特征图的宽度和高度，C表示特征图的通道数，F中的低分辨率特征图F1与较高分辨率的特征图F2经过第一个RFF模块进行融合，生成增强后的特征图FE，FE通过自适应平均池化层提取特征FE1、FE2和FE3，将FE1、FE2和FE3进行通道拼接并通过1×1的卷积处理来形成全局特征FG，将FE通过非对称卷积与标准卷积并行处理形成特征FL，将特征FG与特征FL按通道进行拼接，并通过1×1的卷积核处理，得到优化后的特征图FMFCE，MFCE模块的计算过程为：FE＝RFFF1,F27FEi＝RFFF1,AAPiFEi＝1,2,38FG＝Cov1,1CatFE1,FE2,FE39FL＝Cov9,1Cov1,9FE+Cov3,3FE10FMFCE＝Cov1,1CatFG,FL11其中，Covn,m·表示卷积核大小为n×m的二维卷积，Cat·表示特征图在通道上的拼接，RFF表示为多尺度特征融合模块；通过RFF模块和MFCE模块输出所述输入的RGB图像的逐像素深度图。

全文数据：

权利要求：

百度查询： 北京邮电大学 一种基于多尺度特征相关性增强的单目图像深度估计方法