买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:清华大学深圳国际研究生院
摘要:本发明提供一种基于深度学习的任务型对话语句回复生成方法及存储介质,方法包括:构建神经网络模型,所述神经网络模型包括句子规划器和分段生成器,所述句子规划器用于生成回复语句的骨架,所述分段生成器用于生成回复语句;通过训练集中的对话动作及对应的回复语句对所述神经网络模型的所述句子规划器和所述分段生成器进行训练,得到训练好的神经网络模型;利用训练好的所述神经网络模型以给定的对话动作为输入自动化生成回复语句。本发明的方法能够在保证所生成的话语高度可控、基本不产生槽错误的前提下很好地模仿人类语言习惯。
主权项:1.一种基于深度学习的任务型对话语句回复生成方法,其特征在于,包括如下步骤:S1:构建神经网络模型,所述神经网络模型包括句子规划器和分段生成器,所述句子规划器用于生成回复语句的骨架,所述分段生成器用于生成回复语句;S2:通过训练集中的对话动作及对应的回复语句对所述神经网络模型的所述句子规划器和所述分段生成器进行训练,得到训练好的神经网络模型;S3:利用训练好的所述神经网络模型以给定的对话动作为输入自动化生成回复语句;对所述神经网络模型的所述句子规划器和所述分段生成器进行训练包括如下步骤:S21:采用词汇掩蔽技术将所有文本数据中的具体值替换为所述对话动作中对应的槽名,经过词汇掩蔽的所述对话动作经过所述句子规划器得到回复语句的骨架,其中包含所述对话动作和一系列经过语义排序的槽;S22:所述分段生成器在所述回复语句的骨架内渐进地在两个关键词之间以自回归方式生成文本片段,该进程从左到右进行,直到完整地生成整个回复语句为止;得到所述回复语句的骨架包括如下步骤:采用词汇掩蔽技术将所述对话动作中所有文本数据中的具体值替换为所述对话动作中对应的槽名,将X0={x0,x1,...,xT}定义为所述句子规划器基于输入对话动作而产生的所述回复语句的骨架;其中,x0是所述对话动作的动作类型的词汇令牌,控制着整句回复语句的话语风格,x1,...,xT中的每一个都是代表着一个所述对话动作中特定槽的词汇令牌;生成整个回复语句包括如下步骤:从右至左渐进地将所述回复语句的骨架中两个关键词之间的文本替换为符号@,得到一个全局信息和对应的三元组当作每个阶段中所述分段生成器的输入;其中,符号@用于明确指示文本生成的具体位置;建模一个K个阶段的渐进序列S:S={X0,X1,...,XK};对于k∈{0,...,K-1},XK-1是获取XK的条件,在每个阶段为一条回复生成一个小片段的文本,直到整句被完成为止,其中,K的值与对话动作中关键词的数目相同;各个阶段的全局信息和三元组分别经过全局信息编码器和三元组编码器,得到两者的神经网络隐藏表示矩阵;对所述神经网络隐藏表示矩阵进行融合,融合后的信息矩阵大小与三元组编码器的输出相同,送入解码器中,得到本阶段文本片段,该过程对各阶段循环执行,从而递归地得到回复语句模板,即XK;将所述回复语句的模板中的槽值都用所述对话动作中的对应值进行替换,从而得到最终回复语句。
全文数据:
权利要求:
百度查询: 清华大学深圳国际研究生院 基于深度学习的任务型对话语句回复生成方法及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。