买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利基于多尺度特征抽取与多任务学习的视频情感分析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116597353B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310558675.7，技术领域涉及：G06V20/40；该发明授权基于多尺度特征抽取与多任务学习的视频情感分析方法是由程红举;林昌锴;占周文设计研发完成，并于2023-05-18向国家知识产权局提交的专利申请。

本基于多尺度特征抽取与多任务学习的视频情感分析方法在说明书摘要公布了：本发明提出了一种基于多尺度特征抽取与多任务学习的视频情感分析方法。首先，为了提取到多尺度特征，本发明提出了一种多尺度特征提取方法，该方法使用通道注意力对不同隐藏层的输出进行建模。其次，提出了一种基于关键模态的多模态融合策略，利用注意力机制提高关键模态的比例，并挖掘关键模态与其他模态之间的关系。最后，使用多任务学习方法训练所提出的模型确保模型可以学习更好的特征表示。经过实验，本发明在公开的多模态情感分析基准数据集上取得的情感分析准确率优于现有的算法与发明。

本发明授权基于多尺度特征抽取与多任务学习的视频情感分析方法在权利要求书中公布了：1.基于多尺度特征抽取与多任务学习的视频情感分析方法，其特征在于，具体步骤如下：步骤S1：提取单模态特征表示；在原始视频片段数据之上使用单模态特征抽取子模型对视频、音频模态数据使用前馈神经网络提取单模态特征表示，对文本模态使用BERT模型抽取特征向量；步骤S2：获取单模态多尺度特征表示；对步骤S1中的视频、音频特征表示分别使用通道注意机制，获得多尺度特征表示，再使用1×1卷积操作对其进行通道整合；步骤S3：获取多模态融合结果：首先，使用跨模态交叉注意力的方式捕获文本视频和文本音频的之间的交互；其次，对于文本模态，使用自注意力机制捕获自身内在信息；最后，对得到的特征表示进行拼接得到多模态融合特征；步骤S4：得到视频情感分析结果：将步骤S3得到的融合特征输入至由全连接层和激活函数组成的多模态特征情感分析子模型后得到视频的情感分析结果；将获取得到的单模态特征输入到单模态情感分析子模型进而得到单模态情感分析结果；步骤S5：定义损失函数；通过多任务学习的方式对提出的模型进行训练，模型的损失函数由四个部分组成，分别是：1文本情感分析损失函数；2音频情感分析损失函数；3视频情感损失函数；4多模态融合情感分析损失函数；四种损失函数通过加权的方式组合成最终的损失函数；所述步骤S2中的获取单模态特征表示包括如下步骤：步骤S21：首先，视频、音频模态经过步骤S1中的特征抽取子模型的处理后，得到每个网络层的输出；随后，对每一层的输出特征新增一个通道维度；最后，按通道进行堆叠得到一个堆叠的特征；如公式5所示： 步骤S22：利用通道注意力机制处理堆叠的特征，首先，使用Squeeze操作对每个通道的数据进行数据压缩和信息汇总进而得到全局的感受野，计算过程如公式6： 其次，使用Excitation操作为堆叠向量的每个维度生成权重；计算公式如7所示： 最后，使用Scale操作将堆叠向量与权重相乘并使用1×1的卷积核对结果进行通道整合，进而得到最终的视频和语音单模态多尺度特征，如公式8、公式9所示: 步骤S23：对于文本模态，利用bert处理后初始的768维的文本特征，随后利用一个线性层降低其维度至与视频、语音模态维度大小相等；所述步骤S4中的得到视频情感分析结果包含如下步骤：将最终的多模态融合特征输入至一个由三个全连接层和一个tanh激活函数组成的多模态情感分析子模型，进而得到最终视频情感分析结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。