买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明提供一种知识增强的产品问答社区用户对话情绪识别方法、系统、存储介质和电子设备，涉及对话情绪识别领域。本发明通过用户关键词提取和词典扩展算法，构建用户个性化情感词典，获取偏好知识嵌入向量；通过跨模态Transformer，融合情感知识增强的对话文本嵌入向量、对话视觉嵌入向量和对话音频嵌入向量，获取知识增强后的对话特征向量；基于对话情境GCN网络，考虑多轮问答信息中的上下文以及对话用户之间的情境关系，获取全局情境向量；考虑全局情境向量与对话特征向量之间的交互作用，进行个性化情绪识别。此外，提出基于情感层与多模态层的双层有监督对比学习策略，促使模型学习到更具判别性的多模态特征表示，进一步提高情绪识别的准确性和细粒度。

主权项：1.一种知识增强的产品问答社区用户对话情绪识别方法，其特征在于，基于预设的模型，包括：获取多个产品问答社区的历史多轮问答信息；其中每一个所述历史多轮问答信息包括用户的多模态对话数据及其情绪标签，每一条所述多模态对话数据包括文本、视觉和音频模态信息；针对当前历史多轮问答信息，获取每一条所述多模态对话数据对应的对话文本嵌入向量、对话视觉嵌入向量和对话音频嵌入向量；对于任一条所述多模态对话数据，计算其文本模态信息的每个原始词与预先构建的用户个性化情感词典中关键词的相似度，将每个原始词的嵌入表示与相似度最高的关键词对应的偏好知识嵌入向量进行拼接，并将相应的最高相似度作为权值与拼接结果相乘，获取知识增强的对话文本嵌入向量；将所述知识增强的对话文本嵌入向量作为主模态，采用跨模态Transformer将其与对话视觉嵌入向量和对话音频嵌入向量进行融合，获取每一所述多模态对话数据的知识增强后的对话特征向量；根据所述对话特征向量，采用LSTM网络建模每一条所述多模态对话数据中用户的上下文情绪依赖关系，以获取个性化偏好知识感知的上下文情境向量；以及根据所述上下文情境向量，构建全局对话图，采用GCN网络建模每一条所述多模态对话数据中用户之间的情绪依赖关系，以获取存储全局上下文状态的全局情境向量；根据所述对话特征向量和全局情境向量之间的交互作用，通过协同注意力机制获取每一条所述多模态对话数据的情绪识别预测结果；根据每一条所述多模态对话数据对应的对话文本嵌入向量、对话视觉嵌入向量和对话音频嵌入向量，基于情感层与多模态层的双层有监督对比学习策略构建对比学习损失；根据每一条所述多模态对话数据的情绪标签以及情绪识别预测结果，构建交叉熵损失；最小化所述对比学习损失和交叉熵损失的联合损失函数，训练所述模型直至收敛；将待识别的多轮问答信息作为收敛后的模型的输入，获取该多轮问答信息中每一条多模态对话数据的情绪识别结果。

全文数据：

权利要求：

百度查询： 合肥工业大学 知识增强的产品问答社区用户对话情绪识别方法和系统