买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广西大学

摘要：本发明的基于情感预训练模型的故事结尾生成方法，通过故事线提取模块抽取故事内容的关键信息，训练一个用于判别故事中输入每句话情感和实时判别每个时刻输出的故事结尾情感的情感判别器，通过判别故事中输入每一句话的情感训练出利用前四句故事隐向量预测结尾期望情感的情感预测模型，计算生成过程中通过实时判别每个时刻输出的故事结尾情感和期望情感的差距反向传播获得情感梯度，根据情感判别器返回的情感梯度更新GPT‑2模型的内部历史状态，使故事中输入每句话的情感接近期望情感的情感属性，控制GPT‑2模型自动生成与期望情感一致的故事结尾。本发明结合故事线对内容主线走势的判断以及情感判别器对情感走向的捕捉，生成内容和情感上一致的故事结局。

主权项：1.一种基于情感预训练模型的故事结尾生成方法，其特征在于，包括如下步骤：通过故事线提取模块抽取故事内容的关键信息，训练一个用于判别故事中输入每句话情感和实时判别每个时刻输出的故事结尾情感的情感判别器，通过情感判别器判别故事中输入每句话的情感训练一个利用前四句故事隐向量预测结尾期望情感的情感预测模型，计算生成过程中情感判别器实时判别每个时刻输出的故事结尾情感和情感预测模型的期望情感之间的差距反向传播获得情感梯度，根据情感判别器返回的情感梯度更新GPT-2模型的内部历史状态，使故事中输入每句话的情感接近期望情感的情感属性，控制GPT-2模型自动生成与期望情感一致的故事结尾文本；所述情感判别器和情感预测模型的训练步骤如下：S1，抽取故事中的故事线，将其拼接到原始故事的结尾增强数据；S2，通过交叉熵损失函数训练能自左向右自动回归生成句子的GPT-2模型，通过步骤S1中故事线的增强数据来微调GPT-2模型参数；S3，冻住步骤S2中的GPT-2模型参数，通过SST-5数据集训练一个用于判别故事中输入每句话情感和实时判别每个时刻输出的故事结尾情感的情感判别器；S4，通过步骤S3中的情感判别器判别故事中输入每句话的情感的情感向量来训练一个利用前四句故事的隐向量来预测我们结尾所期望情感的情感预测模型；所述控制GPT-2模型自动生成故事结尾文本的步骤如下：S5.生成过程中，通过交叉熵损失函数计算步骤S3中训练的情感判别器实时判别每个时刻输出的故事结尾情感和步骤S4中训练的情感预测模型的期望情感之间的情感差距；S6.通过步骤S5中所计算的情感差距反向传播获得情感梯度，将情感梯度当作扰动添加到GPT-2模型的隐向量中，用于下一个词的计算；根据情感判别器返回的梯度，更新GPT-2模型内部历史状态Ht，然后根据得到的新的输出概率分布进行采样并生成新的单词ot+1；S7.通过步骤S6的情感梯度反馈，将情感预测模型内部的历史状态H更新为再通过GPT-2模型根据新历史来生成更接近步骤S4中所计算的期望情感所需求的句子；S8.通过softmax函数生成按位置的前馈层产生目标词条的输出分布，生成故事结尾文本，再通过贝叶斯公式将生成过程重写如下：px|a∝pa|xpx其中，a表示情感属性，x表示文本，px|a表示在情感a上生成文本x的概率，pa|x表示情感判别器鉴别文本x属于情感属性a的概率，px表示GPT-2模型建模过程中文本的生成概率；控制GPT-2模型生成与期望情感一致的故事结尾文本，生成过程的解码器输出的结果为产生文字序列的下标，且每个文字在词典中都有唯一的标识，根据下标找到对应文字。

全文数据：

权利要求：

百度查询： 广西大学 一种基于情感预训练模型的故事结尾生成方法