买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国空气动力研究与发展中心低速空气动力研究所

摘要：本发明涉及一种压敏漆图像孔洞修复方法，包括：获取存在孔洞的压敏漆图像，获取掩码二值图，将压敏漆图像和掩码二值图做掩码处理，得到掩码图像，将掩码图像和掩码二值图进行通道拼接后得到四通道输入张量；将四通道输入张量和掩码二值图作为压敏漆图像孔洞修复神经网络的输入，通过编码阶段和解码阶段进行孔洞修复得到修复后的压敏漆图像。与现有技术相比，修复得到的精确性和准确性更高。

主权项：1.一种压敏漆图像孔洞修复方法，其特征在于，包括：获取存在孔洞的压敏漆图像，获取掩码二值图；将所述压敏漆图像和掩码二值图做掩码处理，得到掩码图像；将所述掩码图像和掩码二值图进行通道拼接后得到四通道输入张量；将所述四通道输入张量和掩码二值图作为压敏漆图像孔洞修复神经网络的输入，进行孔洞修复得到修复后的压敏漆图像，包括：在编码阶段，编码器包括依次级联的一个第一编码处理层、多个第二编码处理层和多个第三编码处理层；将所述四通道输入张量作为编码器的输入，并将逐层更新的掩码二值图和上一层的输出作为编码器中每一层的输入，进行多层的编码处理后，得到包含高级语义特征的第一特征图；在解码阶段，解码器包括依次级联的多个第一解码处理层和一个第二解码处理层；将所述第一特征图作为解码器的输入，将上一层的输出、通过跳跃连接得到的对应编码层的输出和逐层更新的掩码二值图作为解码器中每一层的输入，进行多层的解码处理后恢复空间信息，得到孔洞修复后的压敏漆图像；其中，所述压敏漆图像孔洞修复神经网络为结合联合损失函数进行深度学习训练得到的神经网络模型；所述第一编码处理层包括一般卷积网络，所述第二编码处理层包括特征提取网络和自注意力网络，所述第三编码处理层包括特征提取网络；所述第一解码处理层包括特征提取网络，所述第二解码处理层包括一般卷积网络；所述特征提取网络包括部分卷积层、区域卷积层和动态归一化层；特征提取网络对输入进行处理的方法包括：将上一层输出的特征图与上一层使用的掩码二值图进行掩码处理，将掩码处理后的结果进行部分卷积处理得到部分卷积特征图；在编码器的特征提取网络中，将所述部分卷积特征图及部分卷积处理使用的掩码二值图作为输入，经区域卷积处理得到区域卷积特征图；在解码器的提取网络中，将所述部分卷积特征图、通过跳跃连接得到的对应编码层的输出及部分卷积处理使用的掩码二值图作为输入，经区域卷积处理得到区域卷积特征图；将上一层使用的掩码二值图进行最大池化更新，并将更新后的掩码二值图与所述区域卷积特征图进行逐像素相乘，并将逐像素相乘的结果进行动态归一化操作得到特征提取特征图；其中，将第三编码处理层得到的特征提取特征图作为第一特征图；所述的将掩码处理后的结果进行部分卷积处理得到部分卷积特征图，包括：将掩码处理后的结果中预设的部分特征图通道应用一般卷积进行空间特征提取，得到部分卷积特征图；在编码器的特征提取网络中，将所述部分卷积特征图及部分卷积处理使用的掩码二值图作为输入，经区域卷积处理得到区域卷积特征图，包括：将所述部分卷积特征图和部分卷积处理使用的掩码二值图进行通道拼接后，计算通道拼接处理结果整体的偏移量，得到偏移后的每个像素点的像素值，从而得到偏移后的特征图；基于所述偏移后的特征图和部分卷积处理使用的掩码二值图，得到只保留孔洞区域偏移量的特征图；将所述只保留孔洞区域偏移量的特征图进行一般卷积处理提取特征得到区域卷积特征图；在解码器的提取网络中，将所述部分卷积特征图、通过跳跃连接得到的对应编码层的输出及部分卷积处理使用的掩码二值图作为输入，经区域卷积处理得到区域卷积特征图，包括：将所述部分卷积特征图和部分卷积处理使用的掩码二值图进行通道拼接后，计算通道拼接处理结果整体的偏移量，得到偏移后的每个像素点的像素值，从而得到偏移后的特征图；基于所述偏移后的特征图和部分卷积处理使用的掩码二值图，得到只保留孔洞区域偏移量的特征图；将所述只保留孔洞区域偏移量的特征图与对应编码层的输出进行拼接处理，得到拼接处理后的特征图；对所述拼接处理后的特征图进行一般卷积处理提取特征得到区域卷积特征图；所述的将逐像素相乘的结果进行动态归一化操作得到特征提取特征图，包括：结合BN、IN和LN动态学习归一化方法对应的权重，按区域对所述逐像素相乘的结果进行归一化操作得到特征提取特征图；所述的将所述部分卷积特征图和部分卷积处理使用的掩码二值图进行通道拼接后，计算通道拼接处理结果整体的偏移量，得到偏移后的每个像素点的像素值，从而得到偏移后的特征图，包括： ；其中，表示偏移后的任意一个像素点的像素值，表示任意小数坐标，表示所有通道拼接处理结果中任意一个像素点t的像素值，表示x维度的像素坐标，表示y维度的像素坐标，表示x维度的小数坐标，表示y维度的小数坐标；表示双线性插值核，，，；基于所述偏移后的特征图和部分卷积处理使用的掩码二值图，得到只保留孔洞区域偏移量的特征图，包括： ；其中，表示只保留孔洞区域偏移量的特征图，表示偏移后的特征图，m表示部分卷积处理使用的掩码二值图，表示部分卷积特征图，表示逐像素相乘。

全文数据：

权利要求：

百度查询： 中国空气动力研究与发展中心低速空气动力研究所 一种压敏漆图像孔洞修复方法