买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明提供了一种基于Lora的风格迁移篡改检测数据集生成方法，属于图像处理技术领域，根据获取的原始图像和篡改图像，得到含有噪声的灰度图像；构建并训练将低秩适应模型Lora和稳定扩散模型StableDiffusion相结合的图像生成模型；根据含有噪声的灰度图像，利用已训练的图像生成模型得到掩膜图像，完成篡改检测数据集的生成。本发明解决了篡改检测领域的数据集数量小、生成效率低以及数据篡改类型单一的问题，同时有效解决了数据多样性不足、生成数据质量有限、生成效率低下以及模型权重调整困难等问题。本发明大幅提升了篡改检测模型的训练效果和实际应用性能，为解决复杂的篡改检测挑战提供了新的视角和工具。

主权项：1.一种基于Lora的风格迁移篡改检测数据集生成方法，其特征在于，包括以下步骤：S1、获取原始图像以及篡改图像；S2、根据所述原始图像和篡改图像，得到含有噪声的灰度图像；S3、构建并训练将低秩适应模型Lora和稳定扩散模型StableDiffusion相结合的图像生成模型；所述图像生成模型包括：低秩适应模型Lora，用于引入低秩矩阵，对稳定扩散模型StableDiffusion的权重进行调整；所述低秩适应模型Lora的目标函数的表达式如下： 其中，表示经低秩适应模型Lora调整后的权重，W表示原始预训练的权重矩阵，A和B均表示低秩适应模型Lora引入的低秩矩阵，T表示转置；稳定扩散模型StableDiffusion，用于将含有噪声的灰度图像转换为潜在空间的表示形式，将含有噪声的灰度图像对应的文本描述转换为潜在向量，并根据潜在向量和潜在空间的表示形式，得到去噪后的掩膜图像，所述低秩适应模型Lora嵌入于StableDiffusion模型中；所述稳定扩散模型StableDiffusion包括：变分自编码器，用于将含有噪声的灰度图，利用下式编码为潜在空间的表示形式： 其中，xt表示在时间步t时的中间图像，和均表示缩放因子，x0表示原始图像，ε表示从标准正态分布采样的噪声；基于自注意力机制的深度学习层，用于将文本描述转换为潜在向量；扩散层，用于对潜在向量和潜在空间的表示形式，通过下式得到经扩散处理后的图像： 其中，xt表示在时间步t时的中间图像，at表示控制噪声水平的系数，xt-1表示在时间步t-1时的中间图像，ε表示从标准正态分布采样的噪声；S4、根据含有噪声的灰度图像，利用已训练的图像生成模型进行风格迁移处理，得到掩膜图像，完成篡改检测数据集的生成。

全文数据：

权利要求：

百度查询： 四川大学 一种基于Lora的风格迁移篡改检测数据集生成方法