买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南大学

摘要：本发明公开了一种基于SSIM差异图的人脸伪造检测与定位方法，包括：将原始人脸与伪造人脸的结构相似度SSIM差异图作为篡改定位的标签图；通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响；通过空洞卷积模块处理多尺度的篡改区域；通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成。本发明能够在检测伪造人脸的同时定位篡改区域，此外，采用SSIM差异图进行多任务训练的神经网络能够进一步提高检测结果。

主权项：1.一种基于SSIM差异图的人脸伪造检测与定位方法，所述方法包括：将原始人脸与伪造人脸的结构相似度SSIM差异图作为篡改定位的标签图；通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响；通过空洞卷积模块处理多尺度的篡改区域；通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成；1.1将原始人脸与伪造人脸的SSIM差异图作为篡改定位的标签图，实现步骤包括：1.1.1使用人脸检测器提取原始视频中所有帧的人脸边界框坐标，并裁剪出原始人脸图像，将原始人脸图像篡改定位标签图的像素值设置为全零；1.1.2根据步骤1.1.1得到的人脸边界框坐标，将其运用到原始视频对应的伪造视频，裁剪出伪造人脸图像，伪造人脸图像篡改定位标签图的像素值为伪造人脸图像和原始人脸图像的结构相似度差异值；1.1.3将步骤1.1.1以及步骤1.1.2得到的人脸图像当作训练集，并使用篡改定位标签图进行端到端的监督训练；1.2通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响，实现步骤包括：1.2.1将主干网络两个相邻层级的特征和输送到相邻层聚合模块并进行聚合；1.2.2聚合后的特征图通过残差注意力学习后输出到解码器；1.3通过空洞卷积模块处理多尺度的篡改区域，所述空洞卷积模块首先通过加性融合Sobel流和主干网络的特征，然后通过四个并行的不同比例的空洞卷积对特征图进行处理，空洞卷积比例设置为{1,3,6,9}；1.4通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成，所述图像梯度增强模块包含依次设置的深度卷积层、Sobel滤波层、逐点卷积层以及连接深度卷积层和逐点卷积层的残差操作；1.5解码器利用相邻层聚合模块以及空洞卷积模块输出的特征集合自底向上的还原篡改区域，为降低解码器的参数量，在解码器中，特征图的降维全部由1×1的卷积层来完成，且仅使用双线性插值完成上采样；1.6该方法对应的网络模型在训练中的损失函数包含两部分：交叉熵损失和篡改定位损失；其中，篡改定位损失为辅助预测篡改定位图的损失，篡改定位损失LMask表示 其中，H＝{Hhi,Hmid,Hlo,HDCM}表示由高、中、低层级以及空洞卷积模块输出特征图集合，x表示输入图像，D·表示解码器，S表示标签图。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于SSIM差异图的人脸伪造检测与定位方法