买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利一种基于受约束的多模态多级注意力融合模型的情感视频内容分析方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116503780B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310465547.8，技术领域涉及：G06V20/40；该发明授权一种基于受约束的多模态多级注意力融合模型的情感视频内容分析方法及系统是由项小红;陈泽瑜;邓欣设计研发完成，并于2023-04-26向国家知识产权局提交的专利申请。

本一种基于受约束的多模态多级注意力融合模型的情感视频内容分析方法及系统在说明书摘要公布了：本发明为一种基于受约束的多模态多级注意力融合模型的情感视频内容分析方法及系统，首先将每个模态的全局和局部特征结合起来，帮助模型提取视频整体的基调和视频局部的细节。接着，该方法使用交叉注意力模块来组合来自三种模态的数据以进一步在多模态范围内提取情感丰富的特征，然后使用自我注意力模块来整合来自每个模态的数据。申请人提出了一种具有约束的基于标准自注意力机制和交叉注意力机制的多模态多级Tranformer衍生方法，包括一种多模态情感内分析模型，通过多层级逐步融合特征。还首次使用了损失函数来约束了Tranformer中Token的学习，并且取得了不错的效果。在分类和回归实验中，取得了比先前技术更好的结果。

本发明授权一种基于受约束的多模态多级注意力融合模型的情感视频内容分析方法及系统在权利要求书中公布了：1.一种基于受约束的多模态多级注意力融合模型的情感视频内容分析方法，其特征在于，包括：从情感视频内容分析数据库中提取样本，通过多模态预训练模型从样本中提取多模态信息；对所述多模态信息进行提取和拼接，得到各模态对应的全局性局部信息；将各模态对应的全局性局部信息两两组合进行模态内特征融合，得到对应模态的两两模态信息；所述模态内特征融合采用模态内特征融合模块，包括两层自注意力层和两层交叉注意力层；两层自注意力层分别处理对应输入的两个全局性局部信息，用以统一全局性局部信息；两层交叉注意力层将自注意力层处理后的两个模态信息进行交互，用以传递两两模态信息；将得到的对应模态的两两模态信息相加并信息整合，得到各模态的单个模态特征信息；将各模态的单个模态特征信息通过分类或回归处理，得到最后的分类回归结果；使用对应的分类或者回归损失函数得到最终的分类回归损失；其中，所述最后的分类回归结果即为模型的预测感情数值；通过各模态的单个模态特征信息计算损失值；所述损失值包括差异度损失、相似度损失和重建损失；所述差异度损失Ldiff，公式为： 所述相似度损失Lsim，公式为： 其中，i和j代表a,f,s三个模态之一，且i、j不相同，Mi为各模态的单个模态特征信息，代表Mi中的全局特征向量，同理；代表Mi中的局部特征向量，同理；n是视频或音频的片段数，s代表按位求和函数，公式中T代表矩阵转置操作，F是使用F范数的符号表达的固有下标；将模型的预测感情数值与样本的标签数值进行比对；若预测感情数值与标签数值不符，将所述损失值使用反向传播算法更新模型的权重，并重复上述步骤至预测感情数值与标签数值相符，将权重稳定后的模型用于影视作品的情感分类识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区南山街道崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。