买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌大学

摘要：本发明提出了一种基于语义解纠缠的深度伪造图像检测方法，包括如下步骤：S1、设计第一阶段训练的模型架构；S2、设计第二阶段训练的模型架构；S3、检验多尺度高频特征提取模块和多尺度高频特征融合模块的效果；S4、分析方法检测深度伪造图像的性能。第一阶段训练模型和第二阶段训练模型用于解纠缠图像共同伪造语义、图像特殊伪造语义和图像无关内容语义，以用于提高取证的鲁棒性和泛化能力。设计了自适应的高通滤波器、多尺度高频特征提取模块和多尺度高频特征融合模块，用于充分利用高频信息。提出了双阶段训练的方法，加强语义的解纠缠，提升提取的伪造语义的独立性，提高了语义在取证中的有效性。

主权项：1.一种基于语义解纠缠的深度伪造图像检测方法，其特征在于，深度伪造图像检测方法包括如下步骤：S1、设计第一阶段训练的模型架构;S2、设计第二阶段训练的模型架构;其中，所述第一阶段训练的模型架构包括：自适应高通滤波器、第一编码器和第一解码器；所述第二阶段训练的模型架构包括第二编码器和第二解码器；上述步骤S1还包括以下步骤：S11、设计自适应高通滤波器；所述自适应高通滤波器用于提取图像的高频特征，所述自适应高通滤波器的计算方法如下： 式中，表示自适应高通滤波器的核，x和y表示核内点的位置，表示标准差，表示中心位置为1，其余位置为0的矩阵，表示归一化；并且，在初始化以及每次反向传播过后都将自适应高通滤波器核的中心重置为1，其余位置进行归一化，其计算方法如下： 式中，（x，y=0，0表示核内的中心位置；上述步骤S1还包括以下步骤：S12、设计第一编码器；所述第一编码器包括一个SwiftFormer分支以及两个Xception分支，所述SwiftFormer分支包括四个用于提取图像的无关内容语义的SwiftFormer基本块，两个所述Xception分支用于提取RGB信息和图像高频特征以形成图像全部伪造语义，所述Xception分支包括两个卷积块以及三个Xception基本块；所述第一编码器还包括基于Pag特征融合方法的多尺度高频特征融合模块，所述多尺度高频特征融合模块用于动态集成来自两个Xception分支的特征；上述步骤S1还包括以下步骤：S13、设计第一解码器；所述第一解码器包括四个用于处理图像无关内容语义的SwiftFormer基本块，所述第一解码器还包括四个用于处理图像全部伪造语义的卷积块，第一解码器在处理图像的无关内容语义时多次融入处理的图像的伪造语义，并最终重建得到重建图；上述步骤S1还包括以下步骤：S14、设计第一阶段的损失函数；第一阶段的损失函数包括一个分类损失函数和一个重建损失函数，分类损失函数的计算方法如下： 式中：表示全部伪造语义的分类损失，表示交叉熵损失，表示用于检测全部伪造语义的检测器，表示解纠缠出的全部伪造语义，表示输入的全部伪造语义对应图像的真假标签；重建损失函数的计算方法如下： 式中，表示重建损失，为损失函数，表示原始图，表示对应的原始图重建产生的图；第一阶段的损失函数的计算方法如下： 式中，和为超参数；上述步骤S2还包括以下步骤：S21、设计第二编码器；所述第二编码器使用所述第一编码器提取出的全部伪造语义的分支，所述第二编码器包括两个用于在提取到的全部伪造语义的基础上进一步解纠缠出特殊伪造语义和共同伪造语义的卷积块；上述步骤S2还包括以下步骤：S22、设计第二解码器；所述第二解码器包括两个分别用于处理特殊伪造语义和共同伪造语义的卷积块分支，所述第二解码器处理图像的共同伪造语义时多次融入处理的图像的特殊伪造语义，最终重建得到图像的伪造语义；上述步骤S2还包括以下步骤：S23、设计第二阶段的损失函数；第二阶段的损失函数包括两个分类损失函数、一个对比损失函数和一个重建损失函数；对于检测解纠缠出的特殊伪造语义，分类损失函数计算方法如下： 式中，表示特殊伪造语义的分类损失，表示交叉熵损失，表示用于检测特殊伪造语义的检测器，表示解纠缠出的特殊伪造语义，表示输入的特殊伪造语义对应的伪造方法的标签；对于检测解纠缠出的共同伪造语义，分类损失函数计算方法如下： 式中，表示共同伪造语义的分类损失，表示交叉熵损失，表示用于检测共同伪造语义的检测器，表示解纠缠出的共同伪造语义，表示输入的共同伪造语义对应的图像的真假标签；对比损失函数计算方法如下： 式中，表示对比损失，为L2损失函数，为超参数，为锚定图像语义，为正样本图像语义，为负样本图像语义；重建损失函数计算方法如下： 式中，表示重建损失，为损失函数，表示原始图的全部伪造语义，表示对应的特殊伪造语义和共同伪造语义重建产生的伪造语义；所述第二阶段的损失函数的计算方法如下： 式中，，，和为超参数；深度伪造图像检测方法通过上述步骤S1和步骤S2得出检测模型，所述检测模型包括第二编码器、检测共同伪造语义的检测器；测试图及测试图高频特征输入到第二编码器中，所述第二编码器提取出共同伪造语义，检测共同伪造语义的检测器对第二编码器得出的共同伪造语义进行检测，检测共同伪造语义的检测器输出判断结果。

全文数据：

权利要求：

百度查询： 南昌大学 一种基于语义解纠缠的深度伪造图像检测方法