买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学

摘要：本申请提供多模态情感识别模型训练方法、多模态情感识别方法及设备，方法包括：基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，采用难分样本挖掘方式和交叉注意力机制进行特征融合，采用融合特征对第一二分类器、第二二分类器和四分类器进行多任务联合训练，以使第一二分类器和第二二分类器用于识别融合特征是否匹配对应的情感标签，并将四分类器训练为用于识别情感识别对象所属情感类别的多模态情感识别模型。本申请能够有效提高模型整体的性能和泛化能力，并能够缓解训练过程中不同模态在对于情感识别任务贡献度不同的问题，能够辅助多模态信息融合提高情感识别的正确率和鲁棒性。

主权项：1.一种多模态情感识别模型训练方法，其特征在于，包括：基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，其中，所述第一模态特征和第二模态特征属于不同的模态类型且均设有情感标签；采用难分样本挖掘方式和交叉注意力机制分别获取各个所述第一模态特征和各个所述第二模态特征各自对应的二分类训练融合特征数据，并基于所述交叉注意力机制分别获取各个所述第一模态特征和各个所述第二模态特征对应的四分类训练融合特征数据；以各个所述第一模态特征各自对应的二分类训练融合特征数据作为第一二分类器的输入数据，以各个所述第二模态特征各自对应的二分类训练融合特征数据作为第二二分类器的输入数据，并以各个所述第一模态特征和各个所述第二模态特征各自对应的四分类训练融合特征数据作为四分类器的输入数据，对所述第一二分类器、所述第二二分类器和所述四分类器进行多任务联合训练，以使所述第一二分类器和所述第二二分类器分别用于识别各个所述第一模态特征和各个所述第二模态特征各自对应的二分类训练融合特征数据是否匹配对应的情感标签，并将所述四分类器训练为用于识别各个所述情感识别对象各自所属的情感类别的多模态情感识别模型；在所述基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理之前，还包括：获取一初始情感识别对象的分别设有情感标签的第一模态数据和第二模态数据，所述第一模态数据和第二模态数据属于不同的模态类型，所述模态类型包括：语音模态、视频模态、文字模态和生理信号模态；对所述初始情感识别对象对应的所述第一模态数据和第二模态数据分别进行预处理，以得到该初始情感识别对象对应的目标第一模态样本和目标第二模态样本；在除所述初始情感识别对象之外的其他各个情感识别对象各自对应的第一模态样本中，选取与所述目标第一模态样本的情感标签相同的多个第一模态样本以作为第一模态的正样本，并选取与所述目标第一模态样本的情感标签不同的多个第一模态样本以作为第一模态的负样本，进而组成由所述目标第一模态样本、第一模态的正样本和第一模态的负样本构成的训练样本集；将所述训练样本集的各个所述情感识别对象各自对应的第二模态样本也加入该训练样本集中；对所述训练样本集中的各个情感识别对象各自对应的第一模态样本和第二模态样本分别进行特征提取，以得到所述训练样本集中的各个所述第一模态样本各自对应的第一模态特征以及各个所述第二模态样本各自对应的第二模态特征；所述基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，包括：对各个情感识别对象各自对应的第一模态特征和第二模态特征按照时间维度进行平均池化，以得到各个所述第一模态特征各自对应的第一模态特征向量以及各个所述第二模态特征各自对应的第二模态特征向量；针对由各个所述第一模态特征向量构成的第一模态向量集合以及由各个所述第二模态特征向量构成的第二模态向量集合，获取第一模态关于第二模态的情感相似度，以及第二模态关于第一模态的情感相似度；构建由1和0组成的针对各个情感识别对象的情感标签矩阵，其中，1表示其在所述情感标签矩阵中的位置对应的情感识别对象的第一模态特征和第二模态特征之间的情感标签相同；0表示其在矩阵中位置对应的情感识别对象的第一模态特征和第二模态特征之间的情感标签不同；基于所述情感标签矩阵、所述第一模态关于第二模态的情感相似度和所述第二模态关于第一模态的情感相似度，采用预设的对比学习损失函数对各个所述情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理；所述采用难分样本挖掘方式和交叉注意力机制分别获取各个所述第一模态特征和各个所述第二模态特征各自对应的二分类训练融合特征数据，并基于所述交叉注意力机制分别获取各个所述第一模态特征和各个所述第二模态特征对应的四分类训练融合特征数据，包括：基于所述情感标签矩阵，采用难分样本挖掘方式构建各个所述第一模态特征各自对应的通过难分样本挖掘的第一特征以及所述第二模态特征各自对应的通过难分样本挖掘的第二特征，并根据所述第一模态特征、通过难分样本挖掘的第一特征、第二模态特征和通过难分样本挖掘的第二特征，生成用于第一交叉注意力机制融合模块的第一输入特征以及用于第二交叉注意力机制融合模块的第二输入特征；将各个所述第一输入特征输入预设的第一交叉注意力机制融合模块，以使该第一交叉注意力机制融合模块分别输出各个第一输入特征各自对应的第一模态关于第二模态的融合特征，并对各个所述第一模态关于第二模态的融合特征按照时间维度进行平均池化，得到各个所述第一模态关于第二模态的融合特征向量，以作为各个所述第一模态特征各自对应的二分类训练融合特征数据；将各个所述第二输入特征输入预设的第二交叉注意力机制融合模块，以使该第二交叉注意力机制融合模块分别输出各个第二输入特征各自对应的第二模态关于第一模态的融合特征，并对各个所述第二模态关于第一模态的融合特征按照时间维度进行平均池化，得到各个所述第二模态关于第一模态的融合特征向量，以作为各个所述第二模态特征各自对应的二分类训练融合特征数据；将各个所述第一模态特征和各个所述第二模态特征输入所述第一交叉注意力机制融合模块，以使该第一交叉注意力机制融合模块分别输出各个第一输入特征各自对应的第一模态融合第二模态的特征；以及，将各个所述第一模态特征和各个所述第二模态特征输入所述第二交叉注意力机制融合模块，以使该第二交叉注意力机制融合模块分别输出各个第二输入特征各自对应的第二模态融合第一模态的特征；对各个所述第一模态融合第二模态的特征和各个所述第二模态融合第一模态的特征进行拼接，得到对应的四分类训练融合特征数据。

全文数据：

权利要求：

百度查询： 北京邮电大学 多模态情感识别模型训练方法、多模态情感识别方法及设备