买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳建筑大学

摘要：本发明提供一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法，涉及计算机视觉技术领域。该方法首先对含有裂纹扩展痕迹缺失区域的图像进行预处理，将一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行外边框标记后输入至辅助分割模型进行弱监督训练，得到mask语义分割图像输入至缺失区域语义分割模型；将另一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行mask标记后输入至缺失区域语义分割模型进行全监督训练；将输入至缺失区域语义分割模型训练过的两部分裂纹扩展痕迹缺失区域数据集图像进行融合，得到缺失分割区域；最后，利用生成对抗网络形成裂纹扩展痕迹缺失区域精细轮廓分割模型，将输入图片的裂纹扩展痕迹缺失区域分割出来。

主权项：1.一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法，其特征在于：对含有裂纹扩展痕迹缺失区域的图像进行预处理，将一部分裂纹扩展痕迹缺失区域数据集图像首先利用标注工具进行外边框标记，然后输入至辅助分割模型进行弱监督训练，得到精确的掩膜语义分割图像，并将掩膜语义分割图像输入至缺失区域语义分割模型；同时，将另一部分裂纹扩展痕迹缺失区域数据集图像利用标注工具进行掩膜标记，然后输入至缺失区域语义分割模型进行全监督训练；将输入至缺失区域语义分割模型训练过的一部分裂纹扩展痕迹缺失区域数据集图像和另一部分裂纹扩展痕迹缺失区域数据集图像利用多尺度特征组合方法进行融合，得到缺失分割区域；最后，利用生成对抗网络的博弈机制，形成裂纹扩展痕迹缺失区域精细轮廓分割模型，将输入图片的裂纹扩展痕迹缺失区域精确分割出来；具体包括以下步骤：步骤1：获取含有裂纹扩展痕迹缺失区域的图像，形成数据集；将数据集分成两部分：一部分为占总数据集的百分之七十以上的用于进行外边框标记的裂纹扩展痕迹缺失区域数据集，称为大部分裂纹扩展痕迹缺失区域数据集；另一部分则为总数据集中其他的进行语义分割掩膜标记的裂纹扩展痕迹缺失区域数据集，称为小部分裂纹扩展痕迹缺失区域数据集；步骤2：进行预训练过程：对大部分裂纹扩展痕迹缺失区域数据集利用标注工具进行外边框标记，并将外边框标记的缺失区域灰度图像、标记的标签图像以及含有裂纹扩展痕迹缺失区域的原图像作为弱监督训练数据集，对辅助分割模型进行弱监督训练，直至模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集的掩膜标签图像；其中，辅助分割模型采用现有的编码器-解码器分割模型；步骤3：进行训练过程：对小部分裂纹扩展痕迹缺失区域数据集利用标注工具进行像素级的掩膜标记，得到标记的缺失区域灰度图像和掩膜标签图像；并将标记的缺失区域灰度图像、掩膜标签图像以及裂纹扩展痕迹缺失区域原图像作为全监督训练数据集；利用大部分裂纹扩展痕迹缺失区域数据集和小部分裂纹扩展痕迹缺失区域数据集中的两类缺失区域纹理灰度图像和掩膜标签图像，输入至缺失区域语义分割模型进行半监督训练，直至模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集和小部分裂纹扩展痕迹缺失区域数据集的精准的预测缺失区域；其中，缺失区域语义分割模型采用的是FasterR-CNN模型；步骤4：将输入缺失区域语义分割模型训练过的大部分裂纹扩展痕迹缺失区域数据集图像和小部分裂纹扩展痕迹缺失区域数据集图像利用多尺度特征组合方法进行融合，训练基于生成对抗网络的精细轮廓模型；其中，基于生成对抗网络的精细轮廓模型采用的是GAN生成对抗网络；步骤5：进行分割获取过程：将存在缺失的裂纹扩展痕迹原图像、缺失的裂纹扩展痕迹灰度图像和掩膜标签图像作为输入图像，利用步骤4中训练好的基于生成对抗网络的精细轮廓模型，将生成器和判别器进行交替迭代和优化，最终得到缺失区域的精细化分割图像；所述步骤2的具体方法为：步骤2.1：将大部分裂纹扩展痕迹缺失区域数据集中的图像利用标注工具进行外边框标记，得到带外边框标记的缺失区域纹理灰度图像和标签图像；步骤2.2:将大部分裂纹扩展痕迹缺失区域数据集中的原图像、外边框标记的缺失区域纹理灰度图像和标签图像作为弱监督数据集；步骤2.3：从弱监督数据集中选取一组弱监督训练数据集样本，输入至辅助分割模型，对辅助分割模型进行弱监督训练；步骤2.4：通过辅助分割模型中的分割编码器提取外边框标签图像背景形貌与缺失区域的图像特征，学习外边框背景形貌与缺失区域的图像特征之间的逻辑关系，得到预测的缺失区域；步骤2.5：利用分割解码器计算预测缺失区域与背景形貌的误差，在分割解码器中加入自校正模块，利用自校正模块中的交叉熵损失逐渐减小预测缺失区域与背景形貌的误差；步骤2.6：重复步骤2.1-2.5，直至辅助分割模型收敛，得到大部分裂纹扩展痕迹缺失区域数据集的掩膜标签图像；所述步骤3通过小部分裂纹扩展痕迹缺失区域数据集对缺失区域语义分割模型进行训练的步骤如下：步骤3.1：将小部分裂纹扩展痕迹缺失区域数据集中的图像利用标注工具Labelme进行像素级的掩膜标记，得到标记的缺失区域灰度图像和掩膜标签图像；步骤3.2：将裂纹扩展痕迹缺失区域的原图像、利用标注工具Labelme标记的裂纹扩展痕迹缺失区域的灰度图像和掩膜标签图像作为全监督训练数据集；步骤3.3：从全监督训练数据集中选取一组全监督训练数据集样本，输入至缺失区域语义分割模型，对缺失区域语义分割模型进行训练；步骤3.4：通过缺失区域语义分割模型中的Resnet50网络提取背景形貌与缺失区域的图像特征，获得共享特征层；利用共享特征层获得建议框，对建议框进行解码，在共享特征层截取带有缺失区域的位置，得到预测的缺失区域；步骤3.5：利用缺失区域语义分割模型中的ROI模块，计算所有建议框和真实框的重合程度，并进行筛选，最终进行调整和卷积，将建议框调整成真实框，得到精准的预测缺失区域；步骤3.6：重复3.1-3.5步骤，直至小部分裂纹扩展痕迹缺失区域数据集训练完毕，缺失区域语义分割模型收敛；通过大部分裂纹扩展痕迹缺失区域数据集对缺失区域分割模型进行训练的步骤如下：步骤3.7：将步骤2中利用外边框标记的缺失区域图像通过辅助分割模型得到的掩膜标签图像以及裂纹扩展痕迹缺失区域原图像，输入至缺失区域语义分割模型；步骤3.8：其余步骤与步骤3.3-3.4过程相同，直至大部分裂纹扩展痕迹缺失区域数据集训练完毕，缺失区域语义分割模型收敛；所述步骤4的具体方法为：步骤4.1：将上述步骤2和步骤3中裂纹扩展痕迹缺失区域原图像以及分别得到的灰度图像和掩膜标签图像作为训练数据集，对基于生成对抗网络的精细轮廓模型进行训练；步骤4.2：选取步骤4.1中一组训练数据集为样本，输入至基于生成对抗网络的精细轮廓模型；步骤4.3：通过基于生成对抗网络的精细轮廓模型中的生成器提取背景形貌与缺失区域的轮廓特征，学习背景形貌与缺失区域的轮廓特征之间的逻辑关系，得到预测的缺失轮廓；步骤4.4：利用生成对抗网络的精细轮廓模型中的判别器计算预测缺失轮廓与真实原轮廓的误差，区分预测缺失轮廓与真实原轮廓，并优化生成器；步骤4.5：重复步骤4.3-4.4，直至基于生成对抗网络的精细轮廓模型收敛；所述步骤5的具体方法为：步骤5.1：将含有裂纹扩展痕迹缺失区域的图像按照步骤2进行外边框标记，得到缺失区域纹理灰度图像和标签图像；步骤5.2：利用步骤2中训练好的辅助分割模型对步骤5.1中的缺失区域纹理灰度图像和标签图像进行特征提取，得到精确的掩膜标签图像；步骤5.3：将含有裂纹扩展痕迹缺失区域的原图像、缺失区域纹理灰度图像和掩膜标签图像输入至基于生成对抗网络的精细轮廓模型；步骤5.4：通过基于生成对抗网络的精细轮廓模型中的生成器提取多尺度的背景形貌与缺失区域轮廓特征，预测缺失轮廓，实现缺失区域中轮廓的重建修复；步骤5.5：利用基于生成对抗网络的精细轮廓模型中的判别器计算预测缺失轮廓与真实原轮廓的误差，进行对抗损失训练，缩小缺失轮廓与真实轮廓误差，并优化生成器；步骤5.6：结合原始图像的特征轮廓和缺失区域中修复的特征轮廓，最终得到完整的精细化裂纹扩展特征分割轮廓。

全文数据：

权利要求：

百度查询： 沈阳建筑大学 一种基于深度学习的裂纹扩展痕迹缺失区域的分割方法