买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广州财金数据有限公司

摘要：本发明提供一种基于多任务学习的网络安全领域文本数据实体关系抽取法，该方法解决了原始文本中目标实体之间的关系分类问题，相当程度上解决了大规模互联网数据中结构组织松散、异质多元的缺陷。实体关系是构建复杂知识库系统的重要步骤，比如文本摘要、自动问答、机器翻译、搜索引擎、知识图谱等。这一技术已经成为自然语言处理、机器智能学习、大数据挖掘等技术发展的关键因素，同时也意味着这一技术关系着我国未来的工业和信息化发展，具有非常广阔的应用前景。

主权项：1.一种基于多任务学习的网络安全领域文本数据实体关系抽取法，其特征在于，包括以下步骤：S1：对收集到的网络安全文本数据进行清洗，并完成标注；S2：利用网络安全文本领域相关的大规模无标注语料对语言模型ERNIE进行预训练；S3：利用ERNIE对句子S＝{s1，s2…sn}进行编码，并输出固定维数的词向量W＝{w1，w2…wn}；S4：将ERNIE输出的词向量W＝{w1，w2…wn}作为输入，预测可能存在于句子中的关系集合R；对步骤S3输出的词向量W＝{w1，w2…wn}，预测出可能存在于句子中的关系集合，输出关系集合R；将关系预测建模为一个多标签二元分类任务，通过公式1和2进行关系预测，如果概率超过某个阈值λ1，对应向量将被分配标签“1”，否则，对应关系将被分配标签“0”；将标签为“1”的词向量，记录为rt添加到关系集合R中，t初始化为1，根据关系数递增，预测原理如下：Havg＝AvgpoolW1rt＝σWrHavg+bv2其中，Avgpool是平均池化操作，Wr是关系权重矩阵，bv是关系偏置向量；S5：将步骤S3输出的词向量W与步骤S4关系集合R进行拼接，再分别利用Bi-GRU捕获前后文能有效提高模型准确率的隐藏信息，输出包含隐藏信息的序列H＝{h1，h2…hn}；S6：通过指针网络识别出句子中的实体集合E，利用全局矩阵将实体与关系进行配对，完成实体关系三元组解码；将步骤S3生成的全局矩阵，步骤S5中的包含隐藏信息的序列H和步骤S6输出的实体集合E进行拼接，再利用以下公式进行实体关系三元组的抽取：Ps，r，o＝σWg[E；H]+bg11其中，Ps，r，o是抽取出来的实体关系三元组，σ表示sigmoid激活函数，E是实体集合，Wg是预测三元组的权重矩阵；bg是预测三元组的偏置向量全局矩阵的作用是预测关系集合和实体集合之间配对的分数，以实现实体关系三元组的抽取；左侧是主语，右侧是宾语，标记为“1”则是两个主语的开头，标记为“2”则是两个主语的结尾，由此可确定三元组中配对的主语和宾语，再根据关系集合来预测主语和宾语对应的关系概率，至此，完成实体关系三元组抽取；S7：重复步骤S2-S6步骤进行多次训练，直至效果达到最优。

全文数据：

权利要求：

百度查询： 广州财金数据有限公司 基于多任务学习的网络安全领域文本数据实体关系抽取法