买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明涉及一种基于引导注意力机制的深度图超分辨方法，包括下列步骤：分析低分辨深度图特征，建立屏摄图像中的退化模型；建立数据集；设计网络框架：整体网络结构由轻量级网络HDSRnet‑light和一个可选的边缘细化网络ERnet构成，将低分辨的深度图，经过双三次插值上采样的深度图和高分辨彩色图输入到HDSRnet‑light中，得到高分辨率的深度图。再将高分辨的深度图和高分辨彩色图输入到ERnet中进行进一步重建，最终得到精细的高分辨输出，整个网络为HDSRnet；设置好网络的学习率和各部分损失函数的权重，利用深度学习框架Pytorch训练上述卷积神经网络，直到损失收敛，生成训练模型。

主权项：1.一种基于引导注意力机制的深度图超分辨方法，包括下列步骤：1分析低分辨深度图特征，建立屏摄图像中的退化模型：Dlr＝HDhr+n0式中Dlr为深度相机捕获的低分辨图像，Dhr是高分辨的深度图像，H是下采样矩阵，n0为噪声；2建立数据集训练集的高分辨数据由MPISintel深度数据集中的多幅RGB-D图像和Middlebury数据集的多幅RGB-D图随机裁剪构成，每对RGB-D数据的尺寸为通过引入角度θ∈[0°,90°,180°,270°]的随机旋转来增加数据的多样性，低分辨数据由高分辨深度图通过双三次插值下采样获取；3设计网络框架31整体网络结构由轻量级网络HDSRnet-light和一个可选的边缘细化网络ERnet构成，将低分辨的深度图，经过双三次插值上采样的深度图和高分辨彩色图输入到HDSRnet-light中，得到高分辨率的深度图；再将高分辨的深度图和高分辨彩色图输入到ERnet中进行进一步重建，最终得到精细的高分辨输出，整个网络为HDSRnet；32轻量级网络HDSRnet-light由3条支路构成：主分支；结构侧分支；细节侧分支，两个侧分支由上采样模块和下采样模块组成，主分支由上采样模块、下采样模块导向注意力模块和注意力模块组成；其中低分辨深度图输入到主分支，经过双三次插值上采样的深度图输入到结构侧分支，高分辨彩色图输入到细节侧分支；321下采样模块结构：卷积层1—池化层1—卷积层2，模块中的所有卷积层后均接有ReLu激活函数；322上采样模块结构：反卷积层1—卷积层1，模块中的所有卷积层和反卷积层后均接有ReLu激活函数；323导向注意力模块结构：卷积层1—卷积层2—乘法层—卷积层3，其中，主分支特征进入卷积层1，侧分支特征进入卷积层2，卷积层1和卷积层2的输出在乘法层进行元素相乘，卷积层2的输出进入卷积层3，卷积层3的输出和乘法层输出相加，所有卷积层均接有ReLu激活函数；324注意力模块结构：导向注意力模块1—导向注意力模块2，其中，主分支特征和侧分支特征进入导向注意力模块1，导向注意力模块1的输出和侧分支特征进入导向注意力模块2；325主分支结构：卷积层1—融合层1—导向注意力模块1—上采样模块1—注意力模块1—上采样模块2—注意力模块2—卷积层2，其中，融合层1在通道维度上合并主分支卷积层1和结构侧分支下采样模块2的输出，导向注意力模块1融合细节侧分支下采样模块2和主分支融合层1的输出，注意力模块1融合结构侧分支下采样模块1，细节侧分支下采样模块1和主分支上采样模块1的输出，注意力模块2融合结构侧分支卷积层1，细节侧分支卷积层1和主分支上采样模块2的输出；最终输出为主分支卷积层2的输出和经过双三次插值上采样相加而得；326细节侧分支结构：卷积层1—下采样模块1—下采样模块2，该分支负责处理高分辨彩色图像的信息，其中，下采样模块1和下采样模块2的输出均送入主分支的注意力模块进行特征融合；卷积层1后接有ReLu激活函数；327结构侧分支结构：卷积层1—下采样模块1—下采样模块2，该分支负责处理双三次插值上采样的深度图信息，其中，下采样模块1和下采样模块2的输出均送入主分支的注意力模块进行特征融合；卷积层1后接有ReLu激活函数；33边缘细化网络ERnet由两个支路构成：深度主分支和细节侧分支；HDSRnet-light的输出输入到深度主分支，高分辨彩色图输入到细节侧分支；两条分支都由卷积层组成，用于实现边缘的精细重建；331细节侧分支结构：卷积层C1—卷积层C2—卷积层C3—卷积层C4—卷积层C5—卷积层C6—卷积层C7—卷积层C8—卷积层C9，该分支负责处理高分辨彩色图像信息，所有卷积层采用串联的方式连接，并且均接有ReLu激活函数；332深度分支结构：卷积层D1—融合层F1—卷积层D2—融合层F2—卷积层D3—融合层F3—卷积层D4—融合层F4—卷积层D5—融合层F5—卷积层D6—融合层F6—卷积层D7—融合层F7—卷积层D8—融合层F8—卷积层D9—融合层F9—卷积层D10，该分支负责处理深度图信息以及融合彩色分支信息，所有卷积层采用串联的方式连接，融合层Fi在通道维度上融合深度分支卷积层Di的输出和彩色分支卷积层Ci的输出；4设置好网络的学习率和各部分损失函数的权重，利用深度学习框架Pytorch训练上述卷积神经网络，直到损失收敛，生成训练模型；41确定网络结构之后，将训练数据输入到网络；42网络训练第一阶段，HDSRnet-light网络初始学习率设置为0.0001，每迭代一个epoch，学习率降为原来的0.1倍，在训练HDSRnet-light时，以范数作为损失函数；43在网络训练第二阶段，对HDSRnet-light训练30个epoch后，在HDSRnet-light后接上ERnet以范数作为损失函数；44进行训练，通过HDSRnet-light得到低分辨深度图到高分辨深度图的映射；通过ERnet得到高分辨深度图到精细高分辨深度图的映射。

全文数据：

权利要求：

百度查询： 天津大学 基于引导注意力机制的深度图超分辨方法