买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海大学申请的专利一种基于双模态信息增强多头注意力的视频情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114973044B 。

龙图腾网通过国家知识产权局官网在2024-09-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110195691.5，技术领域涉及：G06V20/40；该发明授权一种基于双模态信息增强多头注意力的视频情感分析方法是由彭俊杰;吴廷;郑藏智;马传帅设计研发完成，并于2021-02-22向国家知识产权局提交的专利申请。

本一种基于双模态信息增强多头注意力的视频情感分析方法在说明书摘要公布了：本发明涉及一种基于双模态信息增强多头注意力的视频情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；从不同特征子空间计算双模态注意力，获取双模态间的交互信息；将双模态信息与双模态间交互信息进行融合及分类预测，得到对应的情感分析预测结果。与现有技术相比，本发明在提取单模态特征后，利用其获取模态间的交互信息，再进一步得到不同交互信息的独立性和一致性信息，从而进行有效的特征融合和准确的情感预测。

本发明授权一种基于双模态信息增强多头注意力的视频情感分析方法在权利要求书中公布了：1.一种基于双模态信息增强多头注意力的视频情感分析方法，其特征在于，包括以下步骤：S1、对视频进行预处理：从视频中分离出音频，并对音频进行转录，得到相应文本，之后对视频进行分帧处理、对视频帧进行人脸检测与对齐处理；S2、从预处理后的数据中获取单模态原始特征：采用BERT模型从文本中获取句子向量，并利用第三方工具提取出音频特征和视频特征；S3、基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；S4、根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；S5、从不同特征子空间计算双模态注意力，获取双模态间的交互信息；S6、将双模态信息与双模态间交互信息进行融合及分类预测，得到对应的情感分析预测结果；步骤S5具体包括以下步骤：S51、使用两层相同维度的全连接层，以获得双模态信息交互特征，其中，两层相同维度的全连接层包括第一层独立全连接层和第二层共享全连接层；S52、结合多头注意力机制，首先将双模态信息交互特征拼接得到多模态特征D，以作为键X和值Y的输入；之后分别将各双模态信息交互特征作为查询Q的输入，并分别经过线性变换得到对应的双模态特征，与键X和值Y对应的多模态特征也经过相应的线性变换得到对应的双模态特征；再将各双模态特征与多模态特征D中所有双模态特征进行交互，并使用softmax函数对交互结果进行归一化处理，以计算得到多模态特征中各双模态特征的注意力；最后将每个注意头计算出的双模态特征的注意力进行拼接和线性层变换，以得到分配了注意力的双模态特征，即为双模态间交互信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海大学，其通讯地址为：200444 上海市宝山区上大路99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。