买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明提出一种结合对比学习和预训练技术的中文新闻文本摘要方法，包括1构建对比学习输入数据；2使用结合中文新闻语料微调后的BERT预训练模型获取新闻文本的上下文向量表示，对文本中的句子进行分类打分，抽取包含关键信息的候选句得到候选句集合；3将候选句集合输入到结合中文新闻语料微调后的MT5模型中，生成摘要结果；4结合AECLoss损失函数实现抽取式模型、生成式模型的端到端训练。本发明能够结合对比学习获取更忠于原文内容的摘要结果；通过结合外部知识，提升预训练模型在新闻文本上的语义表示能力；通过先抽取后生成的摘要方式，使模型充分关注新闻文本中的关键内容，有效提升了模型的可解释性和摘要结果的连续性、可读性。

主权项：1.一种结合对比学习和预训练技术的中文新闻文本摘要方法，其特征在于，包括以下步骤：1使用回译、实体替换的方式构建对比学习输入数据；2使用结合中文新闻语料调整后的BERT预训练模型获取新闻文本的上下文向量表示，对文本中的句子进行分类，抽取得到候选句集合；所述对文本中的句子进行分类表示具体为：a将利用BERT预训练模型获取的上下文向量h输入到Bi-LSTM中，进一步提取上下文的语义信息，具体计算公式为： 和表示正向GRU和反向GRU在t时刻的隐层状态向量，分别由当前时刻的输入向量xt及当前方向上一时刻的隐层状态向量ht-1、ht+1得到；将和拼接后得到当前时刻隐层状态向量ht；ht包含了两个方向上的隐层状态；b利用Bi-LSTM进一步文本获取更高维度的语义信息后，将句向量集合送入到全连接层，判断当前句子是否为候选句；模型结合对比学习，采用损失函数Lext-CL作为抽取式摘要模型的损失函数，具体计算公式如下： 其中计算正例对负例对的相似度，τ为温度系数，决定对比损失对困难负样本的关注程度；3使用抽取得到的候选句集合输入到结合中文新闻语料调整后的MT5预训练模型中，生成摘要结果；所述生成摘要结果中，模型解码部分引入coverage机制，具体包括：a模型在t时刻引入追踪向量ct，追踪已生成的单词，对已生成的单词添加惩罚系数，避免生成过多的文本冗余内容，具体计算公式为：ct＝∑t‘at‘17b模型结合追踪向量后，新的注意力权重分布a_newt计算公式为：p_newti＝zTtanhH5hi+H6st+H7catcht+v518a_newt＝soiftmaxp_newti19其中z、H5、H6、H7、v5是计算注意力权重时的超参数；c生成式摘要模型目标损失及coverage机制损失函数计算方法如下： Py|x1,x2,…,xn表示在x1,x2,…,xn已经出现的条件下，生成y的概率；T已经表示所有时刻，minat,ct用来获取t时刻注意力权重at和t时刻coverage机制得分ct的较小值；4结合提出的AECLoss损失函数实现抽取式模型、生成式模型的端到端训练；具体包括：结合公式11中的抽取式模型损失函数Lext-CL、公式20中的生成式模型损失函数Labs和公式21中的coverage机制损失函数Lcov计算得到AECLoss损失函数；AECLoss＝α1Lext-CL+α2Labs+α3Lcov22α1、α2、α3为模型训练得到的参数。

全文数据：

权利要求：

百度查询： 大连理工大学 一种结合对比学习和预训练技术的中文新闻文本摘要方法