买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南师范大学

摘要：本发明公开了基于跨模态特征融合网络的情感与认知演变模式识别方法，通过获取目标对象的第一多模态信息，从第一多模态信息中的第一音频信息中转录出第一文本信息进而提取认知特征，对第一多模态信息进行时序分割和预处理，进而进行特征学习，得到第一情感特征和第二情感特征，采用注意力机制，基于残差跨模态模块进行特征融合，得到融合情感特征，对融合情感特征和认知特征进行合并，得到最终数据点，进而构造模式演变图，能够在演变模式具有多维性、连续性和动态性的情况下，准确识别出情感与认知演变模式，对情感与认知演变模式的识别和应用起到积极效果，并且能够可视化展现识别结果，便于直观理解。本发明实施例可广泛应用于计算机技术领域。

主权项：1.基于跨模态特征融合网络的情感与认知演变模式识别方法，其特征在于，包括：获取目标对象的第一多模态信息；其中，所述第一多模态信息包括第一音频信息和第一视频信息；将所述第一音频信息转录为第一文本信息，并提取所述第一文本信息的认知特征；对所述第一多模态信息进行时序分割和预处理，得到基于时序的声学特征序列、面部特征序列、视频连续帧和语音频谱时间序列；根据所述声学特征序列和所述面部特征序列进行特征学习，得到第一情感特征；根据所述视频连续帧和所述语音频谱时间序列进行特征学习，得到第二情感特征；采用注意力机制对所述第一情感特征和所述第二情感特征进行特征融合，进而通过残差跨模态模块进行多模态融合，得到融合情感特征；对所述融合情感特征和所述认知特征进行合并操作，形成包含情感信息和认知信息的最终数据点；基于所述最终数据点和所述最终数据点的时间信息，构造情感和认知的演变模式图；其中，所述将所述第一音频信息转录为第一文本信息，并提取所述第一文本信息的认知特征，包括：对所述第一音频信息进行文字转录，得到第一文本信息；采用自然语言处理库对所述第一文本信息进行分割，得到若干个句子；从所述第一音频信息的元数据中提取并记录每个所述句子的开始时间戳和结束时间戳；采用BERT模型对每个所述句子进行认知特征识别，得到认知特征；为每个所述认知特征创建一个时间段；其中，所述时间段用于表示所述认知特征的时间范围；所述时间段由所述开始时间戳和所述结束时间所确定；其中，所述对所述融合情感特征和所述认知特征进行合并操作，形成包含情感信息和认知信息的最终数据点，包括：遍历每个所述融合情感特征的第一数据点，确定时间戳；根据所述时间戳对所述第一数据点进行排序，得到数据点时间序列；根据所述数据点时间序列，确定所述时间戳相匹配的认知特征时间段，提取所述认知特征；通过矩阵拼接对所述认知特征和所述融合情感特征进行合并，得到包含情感信息和认知信息的最终数据点；其中，所述最终数据点包括时间戳；其中，所述根据所述声学特征序列和所述面部特征序列进行特征学习，得到第一情感特征；根据所述视频连续帧和所述语音频谱时间序列进行特征学习，得到第二情感特征，包括：通过第一卷积神经网络对所述声学特征序列进行特征学习，得到声音情感特征；通过第二卷积神经网络对所述面部特征序列进行特征学习，得到面部情感特征；通过第三卷积神经网络对所述视频连续帧进行特征学习，得到视频情感特征；通过第四卷积神经网络对所述语音频谱时间序列进行特征学习，得到语音情感特征；将所述声音情感特征和所述面部情感特征确定为第一情感特征；将所述视频情感特征和所述语音情感特征确定为第二情感特征；其中，所述第一情感特征和所述第二情感特征均包含时间戳信息；其中，所述第一卷积神经网络和所述第二卷积神经网络是一维卷积神经网络；所述第三卷积神经网络和所述第四卷积神经网络是三维卷积神经网络；其中，所述采用注意力机制对所述第一情感特征和所述第二情感特征进行特征融合，进而通过残差跨模态模块进行多模态融合，得到融合情感特征，包括：采用注意力机制对所述第一情感特征中的声音情感特征和所述第二情感特征中的语音情感特征进行特征融合，得到第三情感特征；采用注意力机制对所述第一情感特征中的面部情感特征和所述第二情感特征中的视频情感特征进行特征融合，得到第四情感特征；通过残差跨模态模块的全连接层和批量标准化层对所述第三情感特征和所述第四情感特征进行对齐处理，得到第五情感特征；采用多头注意力机制捕获所述第五情感特征的模态间相关性，得到融合情感特征。

全文数据：

权利要求：

百度查询： 华南师范大学 基于跨模态特征融合网络的情感与认知演变模式识别方法