买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：本发明涉及一种种因果关系事件对提取方法及系统，方法包括：获取训练集D；构建语言模型；采用所述训练集对所述语言模型进行训练，得到环境模型；构建对抗模型；采用所述对抗模型对所述训练集中的数据进行数据增强；利用增强后的数据同时对所述环境模型进行训练，得到训练后的环境模型；将待提取的数据输入到所述训练后的环境模型中，得到因果关系事件对；所述因果事件对包括：原因事件和结果事件。本发明中的上述方法对句子中的词进行合理的删除以构造出提升模型表现的数据，利用大型预训练的语料以及对抗攻击的数据增强，小规模语料上获得更好的因果事件抽取效果。

主权项：1.一种因果关系事件对提取方法，其特征在于，所述方法包括：获取训练集D；构建语言模型；采用所述训练集对所述语言模型进行训练，得到环境模型；构建对抗模型；采用所述对抗模型对所述训练集中的数据进行数据增强；利用增强后的数据同时对所述环境模型进行训练，得到训练后的环境模型；将待提取的数据输入到所述训练后的环境模型中，得到因果关系事件对；所述因果事件对包括：原因事件和结果事件；对抗模型的介绍如下：使用advantage-actor-critic框架，具体使用一个Actor模型对当前状态state生成一个动作分布pa，从分布pa中进行c次采样产生多个状态statei，i∈[1，c]，通过环境模型，获得当前状态的分数，奖励计算如下：ri＝ReLUscorestateiscorestate-1随着环境模型的训练，分数将会变得越来越小，为了避免逐渐减小的分数的影响，采用比例的方式建模奖励，表示采取当前动作后有多少损失的变化；同时使用ReLU函数截断奖励为负数的情况；同时，设定一个超参数，以限制删除的词的个数要在句子词个数的预设比例之内；最终确定遮盖词的分布pa，遮盖词的分布基于任务的不同将会不同；Critic模型如下：Critic模型用于计算对当前状态的值估计，和Actor模型共享使用从BERT模型获得的隐藏状态E.，Critic模型使用一个简单的线性层计算当前值估计，之后使用MSE计算奖励和估计之间的损失；Vπs＝Pθcritic|state Actor模型如下：使用策略梯度方法对Actor模型进行更新，同时使用Adavantage函数使模型能够更平滑的训练，Adavantage函数如下：Aπst，at＝rst，at+Vπst+1-Vπst因此，通过策略梯度方法进行的梯度更新过程： 参数更新：

全文数据：

权利要求：

百度查询： 吉林大学 一种因果关系事件对提取方法及系统