买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：一种基于时频域视觉伪影特征自适应融合的跨模态深度伪造检测方法，属于深度伪造检测技术领域，其包括如下步骤：S1、从空间域提取能够表示原始图像整体模式的图像色彩特征；S2、提取两种不同的频域特征，一是浅层低频特征，直接从原始的输入图像提取浅层低频特征，使用浅层低频特征将原始rgb图像扩展到频域；另一是深度频域特征，提取输入图像的残差图，使用卷积提取器提取高频特征。S3、使用由门控卷积组成的自适应特征融合模块将浅层低频特征和深度频域特征融合，使得不同分支的特征在分类阶段得到充分表达。本发明在众多数据集上做了大量的实验，实验结果证明了我们方法的有效性和鲁棒性。

主权项：1.一种基于时频域视觉伪影特征自适应融合的跨模态深度伪造检测方法，其特征在于，包括一个空间域特征提取模块和两个频域特征提取模块，并使用自适应的跨域融合模块将各个模块的特征进行融合；其包括如下步骤：S1、从空间域提取能够表示原始图像整体模式的图像色彩特征；S2、提取两种不同的频域特征，一是浅层低频特征，直接从原始的输入图像提取浅层低频特征，使用所述浅层低频特征将原始rgb图像扩展到频域；另一是深度频域特征，提取输入图像的残差图，使用卷积提取器提取高频特征，图像的残差变换图表示原始图像中人脸的融合边缘信息，而减少图像平滑部分色彩差异的影响；S3、使用由门控卷积组成的自适应特征融合模块将浅层低频特征和深度频域特征融合，使得不同分支的特征在分类阶段得到充分表达；浅层低频特征和深度频域特征这两部分特征图具有相同的输出维度，假设维度都是C*H*W，使用门控卷积来保证融合模块的自适应特性，在门控卷积中，采用可学习的动态特征选择机制，并将其逐个通道每一层的所有位置，视觉伪影总是固定在固定的一些邻接像素点上，无论是在空间上还是频域上都是邻接的，使用门控卷积来捕获和定位这些关键像素点，此外使用上述提到的两张特征图来定位人脸中最具有判别性的区域，首先将C个输入通道映射到2C维度的特征隐空间中，然后使用其中的一半作为门控来约束特征点的权重大小，另一半作为特征，分别使用sigmoid和relu作为激活函数来约束他们的结果；最后，执行点对点的矩阵乘法，实现公式如下： 其中outputy,x表示门控卷积的输出，sigmoid表达式为：Relu表达式为：ReLux＝max0,x,C表示映射维度，W表示模型参数；门控卷积权重,特征权重,融合层自适应特征提取模块拥有两个分支的输入,Wgates表示复合特征的提取模块的输出，Wfeatures表示残差特征提取模块的输出，分别来自于前面的复合特征提取和残差特征提取模块。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于时频域视觉伪影特征自适应融合的跨模态深度伪造检测方法