买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于多模态融合和优化TCN的连续情感识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117315544B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311339598.2，技术领域涉及：G06V20/40；该发明授权一种基于多模态融合和优化TCN的连续情感识别方法是由刘峰;王者彧;赵峥来设计研发完成，并于2023-10-17向国家知识产权局提交的专利申请。

本一种基于多模态融合和优化TCN的连续情感识别方法在说明书摘要公布了：本发明属于机器视觉技术领域，公开了一种基于优化TCN和多模态融合的连续情感识别方法，包括：建立离散情感和连续情感条件概率模型，基于模型生成伪标签补齐数据集，获得完整的标签数据，从视频数据中提取音频数据和图像数据,对音频数据和图像数据进行初步特征提取,利用优化TCN对特征进行时序特征提取，得到音频特征和视频特征的时序特征，将初始时序特征输入到注意力模型进行跨模态特征融合，再结合全局最大池化提取跨模态特征融合后的特征，将初始图像时序特征和全局特跨模态征进行向量拼接后，获得连续情感识别的最终结果。本发明同时考虑了视频的音频信息、图像信息和标签信息，能够有效提高连续情感识别的准确性。

本发明授权一种基于多模态融合和优化TCN的连续情感识别方法在权利要求书中公布了：1.一种基于多模态融合和优化TCN的连续情感识别方法，其特征在于：所述连续情感识别方法包括以下步骤： 步骤1、构建数据样本，获取离散情感数据标签和连续情感数据集标签，建立离散情感和连续情感条件概率模型； 步骤2、利用步骤1建立的离散情感和连续情感条件概率模型生成伪标签，补齐伪标签缺失的数据集，具体包括如下步骤： 步骤2-1、通过所述离散情感和连续情感条件概率模型，在视频帧连续情感标签值确定时，选取概率最大的离散情感标签值作为伪标签，补齐拥有连续情感标签但缺失离散情感标签的视频帧标签值； 步骤2-2、通过在离散情感所对应的连续情感分布坐标中随机抽取一对v,a值作为该帧的伪标签，在网络训练中，根据离散情感的标注值随机抽取一组v,a标签，每次完成训练后将在验证集进行网络性能的验证，将在验证集表现最好的网络所对应的那一组伪标签输出保存，其中，v,a分别代表连续情感中的效价维标注和唤醒维标注； 步骤3、获取待分析视频数据，并将其转换为音频数据和图像数据，从视频数据中提取音频数据和图像数据，再利用Vggish网络和MFCC网络对音频数据进行初步特征的提取，再利用ResNet50网络对图像数据进行初步特征的提取； 步骤4、利用优化TCN网络对音频数据和图像数据的初步特征进行时序特征提取，得到两种音频时序输出特征和图像时序输出特征，所述优化TCN网络包括4个TCN基础模块，每个TCN基础模块包括三个特征提取子模块，每个所述特征提取子模块均包括膨胀卷积层、归一化层、激活层以及dropout层，每相邻的两个特征提取子模块之间均增加一个残差连接，保留浅层特征，同时在第一个残差连接上增加一个1×1卷积模块，初步提取浅层特征； 步骤5、将步骤4得到的音频时序输出特征和图像时序输出特征进行位置编码再分别乘上权重矩阵，再进行跨模态特征融合得到跨模态特征； 步骤6、将步骤5得到的跨模态特征输入到多头注意力模型进行跨模态特征的自注意力机制融合，结合全局最大池化提取跨模态自注意力特征； 步骤7、基于步骤4得到的图像时序输出特征和步骤6提取的跨模态自注意力特征进行向量拼接后得到全局跨模态特征，将其输入全连接层，获得连续情感识别的最终结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210000 江苏省南京市栖霞区广月路30-06号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。