买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京快确信息科技有限公司

摘要：一种强化自注意力的债券交易意图识别系统，它涉及数据处理技术领域。它包括以下具体流程：构建一个知识库模块来存储预处理的关系库；在编码阶段利用预训练的encoding给文本一个初始化编码，并在后续连接一个self‑attention的自注意力模块，让模型学习文本中各个字词成分不同的权重；通过寻址在知识库存储记忆模块找到相关的词或字的关系作为先验知识加入到模型训练，引导神经网络学习更深层次结构关系；将提取的结果分别进行实体部分寻址编码以及标签寻址编码，然后结果同attention的输出进行加权，得到的embedding结果连接到全连接层输出结果。本发明有益效果为：实现了对金融债券交易信息的意图识别任务，在金融业务中达到98％以上的准确率，基本满足商用要求。

主权项：1.一种强化自注意力的债券交易意图识别系统，其特征在于：它包括以下具体流程：1构建一个知识库模块来存储预处理的关系库，针对债券交易的预料特点，主要存储债券要素和意图的关系信息；2在编码阶段利用预训练的encoding给文本一个初始化编码，并在后续连接一个self-attention的自注意力模块，让模型学习文本中各个字词成分不同的权重；3通过寻址在知识库存储记忆模块找到相关的词或字的关系作为先验知识加入到模型训练，引导神经网络学习更深层次结构关系；4将提取的结果分别进行实体部分寻址编码以及标签寻址编码，然后结果同attention的输出进行加权，得到的embedding结果连接到全连接层输出结果；构建一个知识库模块来存储预处理的关系库具体包括以下流程：1.1基于操作人员的梳理，建立关系知识库；1.2采用word2vec预训练模型对关系对的信息进行编码，转化为固定维度的字和词向量；1.3建立索引信息对，通过字符和词可以直接获取字符和对应意图类别的向量编码；所述文本初始化编码具体包括以下流程：2.1采用Bert的预训练模型对文本进行字符的特征编码，转化为固定维度的字向量；2.2同时对文本进行字符和结合金融业务逻辑的分词切割，利用知识库存储编码模块获的索引信息对，获取字符和分词对应的字符词编码和对应关系编码；所述将提取的结果分别进行实体部分寻址编码以及标签寻址编码的流程为：在没有大量训练数据的情况下，attention对关联词权重的学习能力是有限的；首先将编码层知识库存储编码模块获得的实体的字符和分词编码，得到的结果乘以一个可训练的随机初始化矩阵，得到的结果再与自注意力层attention的结果进行dot+softmax计算，得到一个相关性概率矩阵，用于增强attention对先验知识的训练学习，其次将知识库存储编码模块获得的实体对应关系的分词编码和相关性概率矩阵进行multiply计算，获得蕴含文本先验知识的向量编码。

全文数据：

权利要求：

百度查询： 北京快确信息科技有限公司 一种强化自注意力的债券交易意图识别系统