买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明提出一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法，它包括以下步骤：一、带有客观质量真值的大规模仿真数据集生成；二、镶嵌质量评价网络结构设计；三、网络预训练；四、网络微调；五、遥感图像镶嵌无参考质量评价。本发明通过设计双分支卷积神经网络，能够从结构错位、颜色差异和综合评价三个方面对遥感镶嵌图像进行评价，既实现了单因素镶嵌质量评价，又实现了图像镶嵌质量的综合评价。通过两个阶段的训练策略，能大幅减少训练网络时需要的带有主观质量真值的数据集，使网络能够在规模较小的数据集上完成训练。所设计的网络是端到端的，整个评价过程不需要参考图像，也无需额外的处理，使用灵活，操作简单。

主权项：1.一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法，其特征在于，它包括以下步骤：步骤一：带有客观质量真值的大规模仿真数据集生成训练卷积神经网络需要大量的图像数据，而带有主观质量真值的遥感图像很难获得；需要以无失真的遥感图像为原始图像，仿真生成具有不同失真类型的遥感镶嵌图像；步骤二：镶嵌质量评价网络结构设计由于对图像的颜色差异评价和结构错位评价需要提取不同的特征；步骤三：网络预训练设计第一阶段的预训练，即在大规模仿真数据集上以图像的错位量和颜色差异量为训练真值分别对错位分支和颜色分支进行训练；由于这一阶段的训练不需要图像的主观质量真值，因此仿真生成大量的不同场景，不同失真程度的图像，为卷积网络的训练提供足够的训练数据；通过这一阶段的训练，网络不仅能够识别到和遥感图像镶嵌质量评价相关的两个重要因素：结构错位程度和颜色差异程度，还能学习到不同场景的知识从而避免对特定场景过拟合；步骤四：网络微调第一阶段训练完毕之后，为了使网络能够正确输出图像的质量得分，在带有主观质量真值的小规模数据集上对网络进行微调；这一阶段不需要大量的数据，在规模很小的数据集上完成训练；步骤五：遥感图像镶嵌无参考质量评价针对一幅待评价遥感镶嵌图像，把该图像输入到步骤四中训练得到的镶嵌图像质量评价模型，输出得到图像的结构错位得分、颜色差异得分以及综合评价得分；在步骤一中，选用西北工业大学建立的NWPU-RESISC45数据集，一共有31400幅256*256大小的图像，共包含了45个不同的场景，每个场景有700张图像；这45个场景类别包括机场、桥梁、丛林、教堂、商业区、沙漠、森林、高速公路、工业区、草地及宫殿，涵盖了遥感图像中常见的场景，能够使网络充分学习不同场景遥感图像的相关知识；在步骤一中，对于一幅原始图像，仿真过程分为以下四个步骤：1.1把图像随机分割成具有一定重叠区域的两幅图像；1.2在x方向和y方向上随机产生错位量；1.3把其中一幅图像转换到HSL色彩空间，在保证饱和度S不变的情况下，随机产生色调H和亮度L的差异；1.4采用渐入渐出方法拼接两部分图像；在步骤一中，把图像从RGB色彩空间转换到HSL色彩空间，在保证饱和度S不变的前提下，随机产生色调H和亮度L的差异，并且把色调H和亮度L的差异保存到文件中，然后把调整后的图像重新转换到RGB色彩空间，色彩转换的过程使用OpenCV工具包中的cvtColor函数完成；采用渐入渐出方法拼接两部分图像，定义待融合的图像为I1，I2，融合后的图像为I，若重合区域x轴的坐标范围是x1到x2，则在重合区域渐入渐出法的计算公式如下： 其中w1，w2代表对应图像像素在x,y位置的权重；对于一幅图像，均有0.5的概率发生错位、色调差异和亮度差异，总共生成的仿真数据是原始数据集的10倍，共计314000张图像；在步骤二中，以ResNet-18为基础设计了双分支网络，网络包含两个独立的分支，分别对镶嵌图像的颜色差异问题和结构错位问题进行学习，由于对图像的综合评价需要同时考虑到图像的颜色差异和结构错位两个方面，而且随着网络层数的加深，网络学习到的特征越抽象，语义性越强；为了充分利用两个分支网络学习到的质量感知特征，设计了一种融合策略；首先提取两个分支网络最后一个卷积层的输出，在通道维度上连接，然后通过1x1的卷积核融合通道信息并降低通道维度，最后通过全连接层回归得到图像的综合质量得分；在步骤二中，网络的输入是待评价的镶嵌图像，输出是图像的颜色得分，错位得分以及综合得分，整个网络由两个分支和一个特征融合模块组成，融合模块由卷积核为1×1，输出维度为512，步长为1的卷积层，池化核大小为7x7，步长为1的池化层以及输出维度为1的全连接层fc组成。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法