天津大学王博获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉天津大学申请的专利一种基于情感的多轮对话模型及对话方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116701566B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310486999.4,技术领域涉及:G06F16/334;该发明授权一种基于情感的多轮对话模型及对话方法是由王博;刘书雅设计研发完成,并于2023-04-29向国家知识产权局提交的专利申请。
本一种基于情感的多轮对话模型及对话方法在说明书摘要公布了:本发明公开一种基于情感的多轮对话模型及对话方法,多轮对话模型包括对话历史嵌入模块、情感预测模块和情感嵌入模块;对话历史嵌入模块包括词级别编码器和对话历史自注意力模块,用于将对话历史信息输入到多轮对话模型当中;不同的对话历史信息代表着不同的多轮对话;情感预测模块用于预测回复的情感,通过情感预测模块预测的情感类别代替人工指定情感的类别;情感预测模块通过对话历史得到情感类别,其中情感预测模块的输入为一段对话历史的句子向量输出一个情感类别;情感嵌入模块用于在生成回复并在回复中嵌入指定情感类型,其嵌入情感类型由情感预测模块提供,最终使多轮对话模型生成回复带有情感,提高回复质量。
本发明授权一种基于情感的多轮对话模型及对话方法在权利要求书中公布了:1.一种基于情感的多轮对话方法,基于多轮对话装置,多轮对话装置包括对话历史嵌入模块、情感预测模块和情感嵌入模块; 对话历史嵌入模块,包括词级别编码器和对话历史自注意力模块,用于将对话历史信息输入到基于情感的多轮对话模型当中;不同的对话历史信息代表着不同的多轮对话; 情感预测模块,用于预测回复的情感,通过情感预测模块预测的情感类别代替人工指定情感的类别;情感预测模块通过对话历史得到情感类别,其中情感预测模块的输入为一段对话历史的句子向量输出一个情感类别; 情感嵌入模块,用于在生成回复并在回复中嵌入指定情感类型,其嵌入情感类型由情感预测模块提供,最终使多轮对话模型生成回复带有情感,提高回复质量,其特征在于,包括以下步骤: 1将对话历史定为和,其中和分别代表说话人一和说话人二的对话历史,和分别代表两个说话人对话历史中的句子,其中代表第句话,=1、2…N;以为例,,其中代表句子中的单词;计算上下文编码过程如下: ; ; ; ; ; ; 其中的,和分别为输入门、记忆门和输出门;是对应单词的词嵌入,表示LSTM中单词对应的隐变量,通过组合和计算得出;表示在时刻的神经细胞状态;代表sigmoid函数,、、和为参数矩阵,通过给定随机数进行初始化后通过训练不断调整参数;2对于给定有个query向量的矩阵,keys矩阵和values矩阵点积注意力计算公式如下: ;其中是对话历史自注意力模块中隐藏单元的个数,对话自注意力模块由个头组成,每一个头关注通道的不同部分;对于第个头,用,和分别表示对应于queries,keys和values中通过训练不断调整学习到的参数; 对话历史自注意力模块的具体实现方式用公式表示为: ; 每一个平行头通过计算之后,将所有向量连接一起形成一个向量,计算过程如下: ; ;其中和,其中的为将两个说话人的对话历史向量通过自注意力模块得到的输出,对于说话人一的输出用来表示,说话人二的输出用进行表示;对于和分别使用前馈神经网络输出说话人对话历史表示和,计算过程如下: ; ; 其中代表前馈神经网络; 3将对话历史的向量表示输入到全连接层中将隐藏层维度的向量映射为维度为类别数的向量,计算过程如下: ; 其中是激活函数,和是全连接层可学习参数,为得到的隐向量,再对向量通过层进行计算,最终得到代表对话历史对应回复情感类别的可能性,取可能性最大的情感类别作为最终结果,计算过程如下: ; 其中为当前对话历史信息属于第个情感类别的概率,和 分别为第个类别的权重和偏置; 4构建说话人注意力解码器; 使用作为注意力机制中的key和value,响应的隐藏表示作为查询,说话人一注意力解码器的输出用进行表示,计算过程如下: ; 其中为注意力计算;使用作为注意力机制中的key和value,说话人一注意力解码器的输出作为查询,说话人二注意力解码器的输出用进行表示,计算过程如下: ; 为注意力计算;最后说话人二注意力解码器的输出使用前馈神经网络得到,计算过程如下: ; 其中代表前馈神经网络; 5情感嵌入; 情感嵌入模块状态更新中通过输入情感向量对基于情感的多轮对话模型状态进行更新,情感嵌入模块的计算过程如下: ; 其中代表情感向量表示,代表上一个预测单词的词向量表示,词向量表示通过word2vec方法计算得到,表示上一时间步LSTM的状态,其中的上一时间步为,的为句子起始标识符 EOS的词向量表示;表示两个特征向量连接的操作,两个特征向量用“”分割开;情感向量表示是由情感预测模块预测的情感类别决定,情感向量表示具体计算过程如下: ; ; ;其中表示情感类别为情感词典中的第k个单词,是情感词典中情感类别为的单词总数,、和都是情感嵌入模块中可学习的参数;表示在时间步骤j,情感词典第k个单词的注意力,注意力通过计算所得,由上一时间步隐藏状态、说话人注意力机制输出和情感词汇表中类别为z的第k个单词的词向量表示确定。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励