买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京理工大学申请的专利一种基于门控融合和多任务学习的视频情感分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115203409B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210732914.1，技术领域涉及：G06F16/35；该发明授权一种基于门控融合和多任务学习的视频情感分类方法是由孙新;任翔渝;李瑾仪设计研发完成，并于2022-06-27向国家知识产权局提交的专利申请。

本一种基于门控融合和多任务学习的视频情感分类方法在说明书摘要公布了：本发明从视频提取出文本、图片和音频的特征向量；用GRU对各模态的特征向量编码得到各模态特定维度的向量表示；用带门机制的Transformer将各模态信息进行融合并将融合向量拼接作为多模态向量表示；用LSTM和全连接网络对各模态的特征向量编码得到各模态转换的向量表示；用多模态向量表示、各模态转换的向量表示和多模态情感标签计算得到单模态情感标签；结合多模态情感标签和单模态标签进行多任务学习，同时进行多模态情感分类、单模态情感分类。本发明提供的视频情感分类方法使用融合后的多模态向量表示参与生成单模态标签，提高了单模态标签的准确度；还采用多任务学习的方式，同时进行多模态情感分类和单模态情感分类，提升了视频情感分类的效果。

本发明授权一种基于门控融合和多任务学习的视频情感分类方法在权利要求书中公布了：1.一种基于门控融合和多任务学习的视频情感分类方法，其特征在于，所述方法包括：输入视频，通过情感分类模型，获得情感分类，其中，情感分类模型包括特征提取模块、GRU网络、基于带门机制的多模态Transformer架构、LSTM和第三全连接网络、单模态标签生成模块、多任务学习网络和训练模块，带门机制的多模态Transformer架构包括多头注意力机制、第一映射模块、残差连接和归一化模块，第一记忆门、第二记忆门和混合门，其中，多头注意力机制接收第一输入向量A1和第二输入向量A2，输出融合向量M；第一映射模块接收第一输入向量A1和第二输入向量A2，将A1和A2转化到同一向量空间并池化，然后将得到的向量输入第一记忆门、第二记忆门和混合门；第一记忆门、第二记忆门、混合门通过各自的全连接网络和激活函数分别获得第一输入向量A1进行残差连接的系数、第二输入向量A2进行残差连接的系数、融合向量M进行残差连接的系数；残差连接和归一化模块，用于融合向量M和第一输入向量A1、第二输入向量A2的残差连接和归一化计算，从而获得第一输入向量A1和第二输入向量A2的模态融合向量；情感分类模型的训练方法包括：S1、将输入情感分类模型的视频传送到特征提取模块，特征提取模块对视频进行分离得到多模态数据，然后提取并转化多模态数据特征为多模态初始特征向量；S2、将多模态初始特征向量输入GRU网络，获得维度为Z的若干第一单模态特征向量；S3、将第一单模态特征向量输入基于带门机制的多模态Transformer架构，生成模态融合向量，模态融合向量拼接后得到多模态最终向量表示；S4、将多模态初始特征向量输入LSTM和第一全连接网络，生成维度为Z的第二单模态向量表示；S5、将多模态最终向量表示、第二单模态特征向量表示和多模态情感标签输入单模态标签生成模块，生成单模态情感标签；S6、将多模态最终向量表示和第二单模态特征向量输入多任务学习网络，输出多模态情感预测值和单模态情感预测值；S7、将多模态情感预测值和单模态情感预测值和已知的多模态情感标签和计算得到的单模态情感标签输入训练模块比较，训练模块对情感分类模型中的参数进行调整。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100068 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。