买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明涉及一种基于综合相似变形器和中心三元组损失的图像修复取证方法，属于多媒体取证技术领域。现有技术对于修复区域特征的提取能力有限，对于修复区域的边界往往难以准确识别，并且在面对后处理操作时鲁棒性差。本发明所述的方法基于编码器‑解码器的基础架构搭建了取证网络，编码器由密集连接的双流主干网络组成，局部特征和全局特征的密集融合产生了更有效的特征表示，在解码器中引入综合相似变形器，增强篡改边界特征。并设计中心三元组损失函数，对图像修复取证网络进行监督，增强模型的鲁棒性。采用本发明所述的方法，在提升网络修复取证精度的同时，有效改善了网络难以精确识别修复区域边界以及鲁棒性差的问题。

主权项：1.一种基于综合相似变形器和中心三元组损失函数的图像修复取证方法，其特征在于，包括：基于编码器-解码器的基础架构搭建图像修复取证模型，并将综合相似变形器引入到所述图像修复取证模型的解码器中，其中，所述图像修复取证模型的编码器采用密集连接的双流主干网络；获取公开的图像数据集样本，并利用多种图像修复方法对所述公开的图像数据集样本进行处理，将处理后得到的图像修复取证数据集样本用于训练所述图像修复取证模型；将预先设计好的三元组损失函数与交叉熵损失函数进行结合作为总损失函数，并利用所述总损失函数和所述图像修复取证数据集样本对所述图像修复取证模型进行训练，得到训练完成的图像修复取证模型；利用所述训练完成的图像修复取证模型对目标修复图像进行检测，识别所述目标修复图像中被修复的区域，得到修复取证结果；其中，基于编码器-解码器的基础架构搭建图像修复取证模型，并将综合相似变形器引入到所述图像修复取证模型的解码器中包括：在Resnet-50主干网络前加入空域隐富模型，并将加入滤波器的所述Resnet-50和SwinTransformer-Tiny密集连接，得到所述密集连接的双流主干网络作为编码器；在由卷积层和上采样层组成的原始解码器中添加所述综合相似变形器作为解码器；将所述编码器和所述解码器进行拼接，得到所述图像修复取证模型，并利用所述编码器对所述目标修复图像进行下采样；利用所述解码器对所述编码器的输出结果进行上采样，得到与所述目标修复图像具有相同分辨率的修复取证结果；其中，所述解码器中卷积层和上采样层先重复堆叠多次，再添加所述综合相似变形器来增强边界特征表示；其中，所述综合相似变形器包括多个网络流，每个所述网络流通过在多个卷积层之间插入相似感知层来构建，多个所述网络流能够处理不同分辨率的特征图；其中，所述相似感知层用于检测像素级不一致性以便进行细粒度特征建模，多个所述网络流所输出的特征图在调整尺寸和通道数后，按照通道维度与最后一个网络流中的第一个卷积块的输出进行拼接，在经过另外一个卷积层后得到所述图像修复取证结果；其中，所述相似感知层利用如下公式计算每个像素点和相邻像素点的特征相似性： ，其中代表像素点与相邻像素点的特征相似性，代表余弦相似度计算函数；其中，所述中心三元组损失可以用如下公式表示： ，其中，表示修复区域像素点特征到可学习向量的距离平均值表示非修复区域像素点特征到可学习向量的距离平均值，是三元组损失中的裕量。

全文数据：

权利要求：

百度查询： 天津大学 基于综合相似变形器和中心三元组损失的图像修复取证方法、电子设备以及存储介质