买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种面向多模态多任务学习的轻量化适配网络学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116644316B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310629849.4，技术领域涉及：G06F18/214；该发明授权一种面向多模态多任务学习的轻量化适配网络学习方法是由邵镇炜;金子添;余宙;俞俊设计研发完成，并于2023-05-31向国家知识产权局提交的专利申请。

本一种面向多模态多任务学习的轻量化适配网络学习方法在说明书摘要公布了：本发明公开了一种面向多模态多任务学习的轻量化适配网络学习方法，包括如下步骤：1、构建下游任务数据集，2、构建深度自注意力网络模型，3、预训练权重裁剪，4、构建任务适配器，5、适配预训练模型，6、设计渐进式引导蒸馏训练并训练模型。该方法对预训练模型部分权重进行裁剪，并采用高效的任务适配器与之适配。本发明提出了一种渐进式引导蒸馏训练算法以更好地填补预训练任务和下游任务之间的差异，保证了模型在下游任务上的性能。本发明可以与任何现有的基于深度自注意力网络的预训练模型相结合，通过训练得到在下游任务性能、模型部署时总存储开销、模型推理时计算开销和模型配置灵活性等方面均存在优越性的适配器模型。

本发明授权一种面向多模态多任务学习的轻量化适配网络学习方法在权利要求书中公布了：1.一种面向多模态多任务学习的轻量化适配网络学习方法，其特征在于，包括如下步骤： 步骤1、构建下游任务数据集，并划分为训练集、验证集及测试集，所述下游任务数据集包括视觉问答、自然语言视觉推理、视觉蕴含推理和视觉目标定位； 步骤2、对数据集中的图像数据，使用现有训练好的FasterR-CNN目标检测网络提取区域图像特征，对于数据集中的文本数据，使用词嵌入向量提取出其语义特征，随后将提取出的图像和文本特征拼接，得到最终的输入特征； 步骤3、构建深度自注意力网络模型，深度自注意力网络由多个结构相同的层堆叠而成，每层由多头注意力模块和前馈层组成，通过深度自注意力网络模型对输入特征进行深层次的理解及处理，得到含义更加丰富的多模态特征； 步骤4、深度自注意力网络模型预训练权重裁剪，所述权重裁剪分为切分多头注意力模块和切分前馈层两类； 步骤5、构建任务适配器 所述任务适配器为插入到深度自注意力网络模型每层中的可学习参数，一个轻量化的任务适配器包含两个可学习参数矩阵Wdown和Wup，并在其中间含有一个非线性激活函数； 构建任务适配器的方法，具体如下： 对于每个任务适配器的输入特征和输出特征，分别记为输入特征Fadp_in和输出特征Fadp_out，每个任务适配器的计算方式如下： Fadp_mid＝NonlinearFadp_inWdown Fdp_out＝Fadp_in+Fadp_midWup 其中，Nonlinear为非线性激活函数，D为输入输出特征维度，r为适配器大小参数，每个任务适配器均包含残差连接，输入特征Fadp_in通过旁路连接到输出特征Fadp_out上； 步骤6、适配预训练模型，结合切分后的预训练模型与任务适配器，得到适配器模型； 适配预训练模型，具体如下： 适配所述多头注意力模块MHA： 对于给定的下游任务输入特征适配后的多头注意力模块对其计算方式如下： 其中，代表第h个适配的注意力头参数矩阵，D代表输入特征维度，DH为每个注意力头维度，与原有的注意力头保持一致；ATT为注意力计算方式，ah为可设置的适配注意力头数量，为任务适配器注意力头输出特征，将其与原有的注意力头输出拼接便得到适配后的注意力特征；为了匹配适配后的注意力特征维度，被额外引入并与切分后的拼接，共同处理适配后的注意力特征，最终输出特征其维度与输入特征保持一致，适配后的多头注意力模块MHA仅WadpQ、WadpK、WadpV和可训练，其余参数在模型训练中保持不变； 适配所述前馈层FFN： 对于给定的输入特征适配后的前馈层FFN对其的计算方式如下： 其中，af为可设置的前馈层适配大小，将其与切分后的预训练矩阵W1和W2拼接，使适配后的前馈层FFN既能保留通用预训练知识又具备下游任务的学习能力，为最终的输出特征，其维度与输入特征保持一致；同样，适配后的前馈层FFN中仅和可训练，其余参数在模型训练中保持不变； 步骤7：设计渐进式引导蒸馏训练并训练模型 采用传统“预训练-微调”范式下的全量微调模型作为教师模型，以适配器模型为学生模型，在每次训练迭代中，教师模型和学生模型共同训练，通过逐步引导的方式将自身学到的知识渐进式地蒸馏给学生适配器模型，除了蒸馏适配器模型整体输出特征外，训练算法同步蒸馏教师模型每层的输出特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。