买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于对抗式训练的多模态适配网络学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116776938B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310694109.9，技术领域涉及：G06N3/0475；该发明授权一种基于对抗式训练的多模态适配网络学习方法是由邵镇炜;余宙;罗同桉;俞俊设计研发完成，并于2023-06-13向国家知识产权局提交的专利申请。

本一种基于对抗式训练的多模态适配网络学习方法在说明书摘要公布了：本发明公开了一种基于对抗式训练的多模态适配网络学习方法，包括如下步骤：S1、构建对抗式多模态适配网络，包括多模态模型的构建和对抗式扰动生成器的构建；S2、设置损失函数，包括原始损失、扰动后损失和扰动差异损失；S3、所构建的多模态模型朝着最小化所设置的损失函数的损失方向优化，所构建的对抗式扰动生成器朝着最大化所设置的损失函数的损失方向进行优化。该方法在现有的多模态模型上搭建用于适配下游任务的适配器和用于生成对抗式噪声扰动的扰动生成器，并将适配器与扰动生成器统一在一个对抗式训练的框架中进行端到端的训练，使得多模态模型在对下游任务的适配上能够获得更好的稳健性与泛化性。

本发明授权一种基于对抗式训练的多模态适配网络学习方法在权利要求书中公布了：1.一种基于对抗式训练的对抗式多模态适配网络学习方法，其特征在于，包括如下步骤： S1、构建对抗式多模态适配网络 构建多模态模型，所述在Transformer块中加入适配器，所述适配器由两层全连接层构成，所述适配器接受Transformer块中自注意力模块的输出作为输入，所述适配器的输出的结果与Transformer块中的前馈网络的输出结果相加后送入层归一化进行后续残差计算； 构建对抗式扰动生成器，所述对抗式扰动生成器由两层全连接层构成，原始数据经多模态模型计算后的输出送入对抗式扰动生成器，产生对抗式噪声扰动并施加在原始数据之上产生扰动后的数据； S2、设置损失函数，所述损失函数包括由多模态模型接收原始数据计算得到的原始损失，由多模态模型接收扰动后数据计算得到的扰动后损失，以及用于两次输出结果差异的扰动差异损失，对抗式多模态适配网络依据这三个损失函数进行优化； S3、对抗式多模态适配网络的训练 所构建的多模态模型朝着最小化所设置的损失函数的损失方向优化，所构建的对抗式扰动生成器朝着最大化所设置的损失函数的损失方向进行优化， 具体训练方法如下： S3-1、构建图像特征表示和文本特征表示； S3-2、联合图像特征表示和文本特征表示得到多模态输入特征； S3-3、将多模态输入特征作为输入，经多模态模型计算输出含多模态信息的特征向量； S3-4、多模态模型的输出特征向量按照图像与文本的对应位置可拆分为多模态图像输出与多模态文本输出，分别用于图像扰动生成器和文本扰动生成器进而生成扰动后的图像特征和扰动后的文本特征，扰动后的图像特征和扰动后的文本特征拼接之后得到扰动后的多模态输入特征； S3-5、对抗式多模态适配训练 由步骤S3-1至步骤S3-4得到，总损失函数，表达式如下： 其中，为原始损失，为扰动后损失，为扰动差异损失，其中λ是扰动差异损失的系数； 对抗式多模态适配训练的优化目标表示为如下公式：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。