买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利基于多区域特征融合的无参考屏幕内容图像质量评估方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116403063B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310398032.0，技术领域涉及：G06V10/77；该发明授权基于多区域特征融合的无参考屏幕内容图像质量评估方法是由陈羽中;陈友昆;牛玉贞设计研发完成，并于2023-04-14向国家知识产权局提交的专利申请。

本基于多区域特征融合的无参考屏幕内容图像质量评估方法在说明书摘要公布了：本发明涉及一种基于多区域特征融合的无参考屏幕内容图像质量评估方法。包括：对失真屏幕内容图像数据集中的数据进行数据预处理；设计自适应特征提取模块，自适应地提取失真屏幕内容图像块中文本区域和图像区域的不同尺度特征，并基于注意力机制对文本区域特征和图像区域特征进行融合；设计局部图像信息交互模块，通过引入自注意力机制来增强失真屏幕内容图像中任意两个图像块之间的信息交互，赋予各个图像块不同的关注权重；设计基于多区域特征融合的无参考图像质量评估网络，训练得到无参考屏幕内容图像质量评估模型；将待测的失真屏幕内容图像输入到训练好的的无参考屏幕内容图像质量评估模型中，输出对应的质量评估分数。

本发明授权基于多区域特征融合的无参考屏幕内容图像质量评估方法在权利要求书中公布了：1.一种基于多区域特征融合的无参考屏幕内容图像质量评估方法，其特征在于，包括以下步骤：步骤S1、对失真屏幕内容图像数据集中的数据进行数据预处理，首先从每幅失真屏幕内容图像中进行图像块的裁剪，然后将数据集划分为训练集和测试集，最后对训练集中的数据进行数据增强；步骤S2、设计自适应特征提取模块，该模块能够自适应地提取失真屏幕内容图像块中文本区域和图像区域的不同尺度特征，并基于注意力机制对文本区域特征和图像区域特征进行融合；步骤S3、设计局部图像信息交互模块，该模块通过引入自注意力机制来增强失真屏幕内容图像中任意两个图像块之间的信息交互，赋予各个图像块不同的关注权重；步骤S4、设计基于多区域特征融合的无参考图像质量评估网络，训练得到基于多区域特征融合的无参考屏幕内容图像质量评估模型；步骤S5、将待测的失真屏幕内容图像输入到训练好的基于多区域特征融合的无参考屏幕内容图像质量评估模型中，输出对应的质量评估分数；所述步骤S2具体实现如下：步骤S21、设计文本特征提取子模块，该模块由一个卷积核大小为3×3的卷积层、两个卷积核大小为1×1的卷积层、两个LeakyReLU激活函数以及三个批归一化层组成；使用卷积核大小为3×3的卷积层对失真屏幕内容图像块中的文本区域进行特征提取，记文本特征提取子模块输入的特征图为Ft，其大小为Ht×Wt×Ct，其中Ht、Wt和Ct分别表示输入特征图Ft的高度、宽度以及通道数；具体地，首先将特征图Ft依次输入到一个卷积核大小为3×3的卷积层、批归一化层、LeakyReLU激活函数、一个卷积核大小为1×1的卷积层以及批归一化层中进行初步的特征提取，得到中间特征图F't1，其维度为Ht×Wt×C't，其中Ht、Wt和C't分别表示中间特征图F't1的高度、宽度以及通道数；然后再将输入特征图Ft依次输入到一个卷积核大小为1×1的卷积层以及批归一化层中进行残差特征提取，得到中间特征图F't2，其维度为Ht×Wt×C't，与中间特征图F't1的维度大小相同；最后经过残差连接将中间特征图F't1与中间特征图F't2相加，再经过LeakyReLU激活函数得到文本特征提取子模块的输出特征F't，其维度为Ht×Wt×C't；具体计算公式如下：F′t1＝BNConv2LeakyReLUBNConv1FtF′t2＝BNConv3Ft 其中，Conv1*表示一个卷积核大小为3×3的卷积层，Conv2*和Conv3*表示两个卷积核大小为1×1的卷积层，表示矩阵加法运算，LeakyReLU·表示LeakyReLU激活函数，BN·表示批归一化操作；步骤S22、设计图像特征提取子模块，该模块由一个卷积核大小为5×5的卷积层、两个卷积核大小为1×1的卷积层、两个LeakyReLU激活函数以及三个批归一化层组成；使用卷积核大小为5×5的卷积层对失真屏幕内容图像块中的图像区域进行特征提取；记图像特征提取子模块输入的特征图为Fp，其大小为Hp×Wp×Cp，其中Hp、Wp和Cp分别表示输入特征图Fp的高度、宽度以及通道数；具体地，首先将特征图Fp依次输入到一个卷积核大小为5×5的卷积层、批归一化层、LeakyReLU激活函数、一个卷积核大小为1×1的卷积层以及批归一化层中进行初步的特征提取，得到中间特征图F'p1，其维度为Hp×Wp×C'p，其中Hp、Wp和C'p分别表示中间特征图F'p1的高度、宽度以及通道数；然后再将输入特征图Fp依次输入到一个卷积核大小为1×1的卷积层以及批归一化层中进行残差特征提取，得到中间特征图F'p2，其维度为Hp×Wp×C'p，与中间特征图F'p1的维度大小相同；最后经过残差连接将中间特征图F'p1与中间特征图F'p2进行相加，再经过LeakyReLU激活函数得到图像特征提取子模块的输出特征F'p，其维度为Hp×Wp×C'p；具体计算公式如下：F′p1＝BNConv2LeakyReLUBNConv1′FpF′p2＝BNConv3Fp 其中，Conv1'*表示一个卷积核大小为5×5的卷积层，Conv2*和Conv3*表示两个卷积核大小为1×1的卷积层，表示矩阵加法运算，LeakyReLU·表示LeakyReLU激活函数，BN·表示批归一化操作；步骤S23、设计注意力特征融合子模块，该模块由四个卷积核大小为1×1的卷积层、一个全局平均池化层、两个ReLU激活函数、一个Sigmoid激活函数以及四个批归一化层组成；注意力特征融合子模块能通过学习将不同尺度的文本特征以及图像特征进行融合，记注意力特征融合子模块输入的两个特征为F't和F'p，其大小均为Ha×Wa×Ca，其中Ha、Wa和Ca分别表示输入特征图F't和F'p的高度、宽度以及通道数；具体地，首先将两个输入的特征进行逐像素相加，得到中间特征图Fb，其大小为Ha×Wa×Ca；然后将中间特征图Fb分别输入到局部注意力提取分支和全局注意力提取分支中进行不同的注意力特征提取，其中局部注意力提取分支依次由一个卷积核大小为1×1的卷积层、批归一化层、ReLU激活函数、一个卷积核大小为1×1的卷积层以及批归一化层串行连接而成，全局注意力提取分支依次由一个全局平均池化层、一个卷积核大小为1×1的卷积层、批归一化层、ReLU激活函数、一个卷积核大小为1×1的卷积层以及批归一化层串行连接而成；记中间特征图Fb经过局部注意力提取分支后输出的特征为Flocal、经过全局注意力提取分支后输出的特征为Fglobal，其大小均为Ha×Wa×Ca；接着将特征Flocal与特征Fglobal进行逐像素相加，然后经过Sigmoid函数获得相应的可学习权重λ；最后将可学习权重λ与输入的特征F't和F'p进行加权融合后得到注意力特征融合子模块的最终输出F'b，其大小为Ha×Wa×Ca；具体计算公式如下： Flocal＝BNConv2_aReLUBNConv1_aFbFglobal＝BNConv4_aReLUBNConv3_aGAPFb 其中，Conv1_a*、Conv2_a*、Conv3_a*和Conv4_a*表示四个卷积核大小为1×1的卷积层，表示矩阵加法运算，BN·表示批归一化操作，GAP*表示全局平均池化操作，ReLU·表示ReLU激活函数，Sigmoid·表示Sigmoid激活函数，λ为经过网络输出的可学习权重；步骤S24、设计通道注意力子模块，用以增强特征表示，获取输入特征的关键特征通道信息，该模块由两个卷积核大小为1×1的卷积层、一个ReLU激活函数以及一个Sigmoid激活函数组成，记通道注意力子模块输入的特征图为Fc，其大小为Hc×Wc×Cc，其中Hc、Wc和Cc分别表示输入特征图Fc的高度、宽度以及通道数；具体地，首先使用全局平均池化操作来聚合输入特征Fc，然后先通过一个1×1大小的卷积层进行降维操作，再通过一个1×1大小的卷积层进行升维操作，接着通过Sigmoid函数获得相应的通道注意力权重，最后将通道注意力权重与输入特征Fc进行逐元素相乘，获得通道注意力子模块的最终输出F'c，其大小为Hc×Wc×Cc，与输入特征图Fc的维度相同；具体计算公式如下：F′c＝SigmoidConv2_bReLUConv1_bGAPFc⊙Fc其中，GAP*表示全局平均池化操作，Conv1_b*和Conv2_b*表示两个卷积核大小为1×1的卷积层，“⊙”表示矩阵乘法运算，Sigmoid·表示Sigmoid激活函数，ReLU·表示ReLU激活函数；步骤S25、设计自适应特征提取模块，该模块由四个步骤S21所述的文本特征提取子模块、四个步骤S22所述的图像特征提取子模块、四个步骤S23所述的注意力特征融合子模块、一个步骤S24所述的通道注意力子模块以及八个步长为2的空间平均池化层组成；自适应特征提取模块通过其中的文本特征提取分支与图像特征提取分支分别对输入失真屏幕内容图像块的文本特权与图像特征进行自适应的多尺度特征提取，并通过注意力机制来融合不同类型的图像特征；具体地，文本特征提取分支依次由一个文本特征提取子模块与一个空间池化层的组合重复四次串行组成，图像特征提取分支依次由一个图像特征提取子模块与一个空间池化层的组合重复四次串行组成；记输入的失真屏幕内容图像块的大小为H×W×3，首先将其分别输入到文本特征提取分支与图像特征提取分支中进行多尺度的文本特征与图像特征的提取，记输入失真屏幕内容图像块经过文本特征提取分支后输出的多级文本特征为其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为C'＝64；记输入失真屏幕内容图像块经过图像特征提取分支后输出的多级图像特征为其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为C'＝64；然后将多级文本特征与对应的多级图像特征分别输入到四个注意力特征融合子模块中，进行文本特征与图像特征的融合，得到融合后的多级主干特征其中特征图的大小为特征图的大小为特征图的大小为特征图的大小为C'＝64；接着对多级主干特征分别执行全局平均池化操作，然后沿通道方向进行特征拼接，得到输入图像块的多尺度图文特征表示F'tp，其大小为1×1×15C'，具体计算公式如下： 其中，Concat·表示特征的拼接操作，GAP*表示全局平均池化操作；最后，将融合后的多尺度图文特征F'tp输入到通道注意力子模块中，以捕获不同通道之间的关键信息，得到自适应特征提取模块的最终输出特征Ftp，再将特征Ftp展平成一维向量，其维度大小1×D，其中D表示每个图像块的维数，D＝960。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。