买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网辽宁省电力有限公司信息通信分公司

摘要：本发明提供一种基于BERT‑BiLSTM‑CCA‑CRF的网络安全实体识别方法，涉及网络安全技术领域。构建BERT‑BiLSTM‑CCA‑CRF模型，采用BERT预训练语义模型来获取输入文本的动态词向量表示，从而更好地解决一词多义问题，然后通过BiLSTM网络，CCA模块能够更加有效地处理通道级的特征信息，还能够在序列级别上捕获复杂的依赖关系。最后通过CRF层来获取全局最优的标签序列。与传统的算法相比，所提出算法具有更好的泛化能力和更高的准确率。

主权项：1.一种基于BERT-BiLSTM-CCA-CRF的网络安全实体识别方法，其特征在于：构建BERT-BiLSTM-CCA-CRF模型，首先采用BERT预训练语义模型来获取输入文本的动态词向量表示，然后通过BiLSTM网络，再通过CCA模块处理通道级的特征信息，在序列级别上捕获复杂的依赖关系，最后通过CRF层来获取全局最优的标签序列；具体包括以下步骤：步骤1：输入层中，输入网络安全实体文本序列，将预处理后的网络安全文本序列输入至BERT层，通过BERT层生成具有丰富语义的网络安全实体词W＝w0，w1，w2，...，wn，其中n是网路安全实体句子长度，w0～wn分别为网络安全实体词各向量元素；步骤2：BiLSTM层中，通过加入位置编码信息，更好地理解文本上下文内容生成序列数据；通过双向LSTM结构捕捉上下文网络安全实体信息，经过BiLSTM层能到表示单词上下文的向量，然后经过线性层为每个输入数据打一个标签的预测分值；步骤3：CCA层中，在BERT、BiLSTM层的基础上，引入CCA模块，其中，CCA模块是一种进一步提取和增强文本特征的模块；具体的，CCA模块借助注意力机制思想，将原始SEnet中的全连接层替换为卷积操作，使模型能够自适应地重新校准各通道的特征表示；步骤4：CRF层中，CCA层的输出再传输给CRF层，通过网路安全实体信息学数据集中标签之间的转移概率修正CCA层的输出，即加一些约束保证预测标签的合法性，从而保证预测标签的合理性；步骤5：对构建的BERT-BiLSTM-CCA-CRF模型进行训练，确保所提出的方法具有实际应用价值和可靠性；步骤6：网络安全知识图谱构建，将识别出的实体信息用于构建网络安全知识图谱。

全文数据：

权利要求：

百度查询： 国网辽宁省电力有限公司信息通信分公司 基于BERT-BiLSTM-CCA-CRF的网络安全实体识别方法