买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:湖南科技大学
摘要:本发明公开了一种基于图像结构触发器的自监督学习后门攻击方法、系统及介质,该方法首先,利用图像边缘提取方法提取出训练图像的边缘并进行着色,利用生成对抗模型将其转化为不可见扰动隐藏在图像边缘结构中,得到中毒图像;然后,利用自监督学习中的对比学习设计植入后门的损失函数,通过最小化中毒数据与目标类干净数据的余弦相似度实现后门植入;最后,用含有图像结构触发器的中毒样本可激活目标模型中的后门,完成后门攻击。使用不可见扰动作为触发器,中毒数据与对应干净数据难以区分,能有效提高后门的隐蔽性。同时图像结构能有效保护触发器的语义特征,将后门攻击成功率维持在较高水平。
主权项:1.一种基于图像结构触发器的自监督学习后门攻击方法,其特征在于,包括:构建中毒图像:利用RCF方案提取出干净图像的边缘并着色,作为中毒数据生成对抗模型的输入。选用UNet作为生成器,PatchGAN作为判别器,并在生成模型后添加一个辅助引导网络引导生成模型学习触发器特征。最终仅保留生成器作为中毒数据生成模型;构建植入后门的损失函数:使用自监督学习中的SimCLR对比学习设计植入后门的损失函数,包括一项有效性损失和两项隐蔽性损失。在最小化有效性损失的过程中,后门模型为中毒数据和目标类干净数据生成的特征向量越来越相似。在最小化隐蔽性损失的过程中,干净模型和后门模型为干净数据生成的特征向量越来越相似;训练目标模型:利用构建的中毒图像和损失函数控制训练过程,训练过程中不断提高中毒图像与目标类干净图像的余弦相似度,间接构建触发器与目标类的恶意关联,同时保持后门模型对干净图像识别的准确度。攻击者通过控制训练过程,向预训练模型中植入后门,或在进行下游任务时植入后门。使用这种方式向目标模型ResNet-18、ResNet-50以及多模态CLIP模型中植入后门。
全文数据:
权利要求:
百度查询: 湖南科技大学 基于对抗扰动的多模态不可见后门攻击方法、系统及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。