买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中师范大学

摘要：一种基于深度学习的对话质量评估方法，其特征在于：首先，构建对话语料，该语料包括用户对话D，多个候选回复R；然后，用对话语料训练对话质量评估深度学习模型M，所述深度学习模型从回复的通顺度、回复与用户对话D的语义相关性、回复对用户对话D的正向情感引导性和回复与用户对话D的上下文逻辑一致性四个方面对候选回复质量进行评估；最后，通过将通顺度结果PA、相关性结果PB、正向情感引导性结果PC、上下文逻辑一致性结果PD进行线性融合，选取得分最高的候选回复作为用户对话D的最终回复。本发明能够有效评估对话系统给出的多个候选回复，可为对话生成中的对话可比性提供标准。也可以扩展到其他自然语言处理领域中的文本质量评估任务中。

主权项：1.一种基于深度学习的对话质量评估方法，其特征在于：首先，构建对话语料，该语料包括用户对话D，多个候选回复R；然后，用对话语料训练对话质量评估深度学习模型M，所述深度学习模型从回复的通顺度、回复与用户对话D的语义相关性、回复对用户对话D的正向情感引导性和回复与用户对话D的上下文逻辑一致性四个方面对候选回复质量进行评估；最后，通过将回复的通顺度结果PA、回复与用户对话D的相关性结果PB、回复对用户对话D的正向情感引导性结果PC、回复与用户对话D的上下文逻辑一致性结果PD进行线性融合，选取得分最高的候选回复作为用户对话D的最终回复；从回复的通顺度候选回复质量进行评估时，包括对N个候选回复R＝{r1，r2，...，rN}，ru表示每个候选回复，u＝1,2，...N，计算候选回复ri的困惑度，为候选回复的通顺度打分，实现方式如下，将候选回复ru进行分词后得到长度为m的输入文本ru＝[x1，x2，...，xm]，通过N-gram语言模型计算当前对话的困惑度PPLru如下： 其中，x1，x2，...，xm为组成一句话的各个单词； 其中，qxi|xi-1，xi-2，...，x1可由语言模型，是给定一句话的前i个词时第i+1个词可能出现的概率的分布qxi|xi-1，xi-2，...，x1；为了将困惑度的值映射到0到1附近，采取标准化计算：PA＝-PPLru-musigma其中，mu、sigma为定值，PA为回复的通顺度打分结果；从回复与用户对话D的语义相关性进行评估时，包括对N个候选回复R，通过计算用户对话D和每个候选回复ri的语义相似度，为候选回复和用户对话的语义相关性打分，实现方式如下，对用户对话D和候选回复ru进行分词，分别得n个词w1，w2，...，wn和m个词x1，x2，...，xm，并进行预处理，包括在开始位置加入标签[CLS]，得到D＝[[CLS]，w1，w2，...，wn]和ru＝[[CLS]，x1，x2，...，xm]，然后使用词嵌入方式得词向量序列和分别对应输入文本，中的两个[CLS]标志位对应的向量，ewj表示用户对话D中第j个词的词向量，exi表示候选回复ru中第i个词的词向量，i＝1,2，...m，j＝1,2，...n；将De和rue分别输入到BERT模型中，通过计算得到BERT的输出分别对应两个[CLS]标志位的输出，表示用户对话和候选回复的对话语义信息，通过计算余弦相似度给用户对话D和候选回复ru进行语义相似度打分如下， 其中，cos表示余弦相似度，PB为用户对话D和候选回复ru的语义相关性打分结果；从回复对用户对话D的正向情感引导性进行评估时，包括对N个候选回复R，制定候选回复对用户对话D的情感引导规则，通过该规则为每一个候选回复打分，实现方式如下，通过对话情感识别模型为用户对话D和每个候选回复ri进行打分，得到对话情感极性的概率分布[P中，P正，P负]，P中，P正，P负分别表示情感为中性、正向、负向的概率，计算情感得分如下：ScoreD＝[0.05*P中+1*P正-1*P负]*100 其中，ScoreD表示用户对话的情感得分，表示第i候选回复的情感得分；计算回复对用户对话D的正向情感引导性的打分规则如下，当用户对话情感打分ScoreD0，且时：. PC＝-Scoret-numsigma其中，abs表示求绝对值，Scoret表示ScoreD和的情感距离，num、sigma为定值，PC为回复对用户对话D的正向情感引导性分数；当用户对话情感打分ScoreD0，且时：PC＝0当用户对话情感打分ScoreD≥0时： 从回复与用户对话D的上下文逻辑一致性进行评估时，包括对N个候选回复R，通过计算用户对话D和通过计算每个候选回复ru的上下文逻辑一致性，为候选回复的逻辑一致性打分，实现方式如下，对用户对话D和候选回复ru进行分词得到D＝[w1，w2，...，wn]和ru＝[x1，x2，...，xm]，将文本进行预处理得到输入文本I＝[[CLS]，w1，w2，...，wn，[SEP]，x1，x2，...，xm]，[CLS]为开始标志，[SEP]为段落分隔标志符，分别用来分隔用户对话D和候选回复ru；然后，使用词嵌入方式得词向量序列Ie＝[ecls，ew1，ew2，…，ewn，esep，ex1，ex2，…，exm]，ewj表示用户对话中第j个词的词向量，exi表示候选回复ru中第i个词的词向量，i＝1,2，...m，j＝1,2，...n；将序列Ie输入到BERT模型中，hcls对应[CLS]标志位的输出，用于计算两个句子是否具有上下文逻辑一致性，具体实现过程如下：y＝softmaxWlhcls其中Wl代表是全连接网络层的可训练参数，softmax表示激活函数，通过全连接层和softmax激活函数对hcls进行激活函数处理，计算得到D和ru是上下文逻辑一致性的概率分布y；最终，选择用户对话和候选回复逻辑一致性的概率作为PD。

全文数据：

权利要求：

百度查询： 华中师范大学 一种基于深度学习的对话质量评估方法及系统