买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京计算机技术及应用研究所申请的专利基于多任务学习的层次类别命名实体识别模型设计方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114881032B 。

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210462583.4，技术领域涉及：G06F40/295；该发明授权基于多任务学习的层次类别命名实体识别模型设计方法是由程耀开;田宗凯;宋颖毅;杨雨婷;王又辰设计研发完成，并于2022-04-28向国家知识产权局提交的专利申请。

本基于多任务学习的层次类别命名实体识别模型设计方法在说明书摘要公布了：本发明涉及一种基于多任务学习的层次类别命名实体识别模型设计方法，属于自然语言处理技术领域。本发明通过在命名实体识别模型中加入对于类别关系的建模，使得模型能够同时识别出命名实体的多个类别，同时，本发明提出了基于多任务学习的模型来解决具有层次类别的命名实体识别问题。模型使用多任务学习机制同时学习多个层次的命名实体识别任务，这些任务共享同一个编码层，这样可以使得编码层学习到的编码向量可以同时适应多个层次的命名实体识别而不是过拟合于某一个单独的层次。最后，还分别设计了两种信息传递机制传递不同层次间的识别信息，以提高模型的识别效果。

本发明授权基于多任务学习的层次类别命名实体识别模型设计方法在权利要求书中公布了：1.一种基于多任务学习的层次类别命名实体识别模型设计方法，其特征在于，该方法中，将所设计的基于多任务学习的层次类别的命名实体识别模型命名为MTBP，该模型设计时，将不同层次的命名实体识别视为多个任务，使用一个模型训练多个任务，使用多任务学习机制进行多个层次之间的命名实体识别预测，多个任务之间共享编码器，其中设计两种不同的信息传递机制以进行不同层次任务间识别信息的传递，第一种采用自顶向下的信息传递顺序，先预测顶层的类，再将顶层信息传递给下一层进行预测，将其称之为MTBP-T，第二种为自底向上的传递顺序，将其称之为MTBP-B；该方法中，MTBP-T模型的设计原理为：将粗粒度类别的模型输出作为信息传入下一层以辅助细粒度的命名实体识别；MTBP-T模型使用BERT作为编码器，输入字符通过所述编码器得到初步的字向量，低层的表示向量由BERT输出结果与上一层标签预测结果拼接而成；该方法中，将MTBP-T模型设计为一个面向具有三层类别结构命名实体识别任务的MBTP-T模型结构：第一层使用BERT的输出作为嵌入向量，计算过程如下公式所示：E0＝BERTX第二层之后均使用上一层的嵌入与上一层的识别结果的拼接作为嵌入向量：Ek＝ConcatEk-1,labelk-1其中，E0表示BERT输出，其形状为m×l，l为输入序列的字符数量，m为BERT的字向量的尺寸；Ek代表每一层使用的输入字符向量，0k≤N，N为类别的层次数量；labelk-1是由上一层模型输出的抽取结果；得到每一层字向量后通过线性层和sigmoid激活层得到一个概率矩阵作为预测矩阵，概率矩阵中每一列映射输入序列中的一个字，概率矩阵中每两行映射一个类别，两行中第一行对应该字为该类别实体开始的概率，第二行为结束的概率，具体计算过程如下公式所示：predj＝sigmoidWjEj其中，Ej表示第j个字的向量表示，predj即为预测得到的字符为实体开始和结束位置的概率，其中Cj代表第j层类别的类别个数；该方法中，将MTBP-B模型设计为：自下而上传递信息的基于多任务学习的命名实体识别模型，其设计原理为：由于类别之间的从属关系，在实体预测中预测出子类实体实际上就已经预测出了父类实体，模型预测的低层次的实体输出中包含了父类分布的信息，所以可从子类的预测分布中得到父类的预测分布；该方法中，将MTBP-B模型设计为一个面向实体类别具有三层结构的MTBP-B模型；MTBP-B模型也使用BERT作为编码器来将输入序列编码为字符向量，如下公式所示：E＝BertXE为输入字符的向量，其中，MTBP-B模型直接使用字符向量进行最细粒度的命名实体预测，预测过程仍然是将字符向量通过两个全连接层和sigmoid激活层得到一个表示字符是否为一类实体开始和结束的矩阵，计算过程如下公式所示：predn＝sigmoidWnE其中，Wn为全连接层的参数，n表示第n层命名实体识别，MTBP-B模型使用低层次的预测结果得到高层次的预测结果，其将同一父类的子类预测数据聚合，得到父类的预测数据，对于开始矩阵，具体转化过程为：将子类的两个预测矩阵按类别进行分割，形成若干个小矩阵，每个矩阵中行映射的类型具有相同的父类；取每一个小矩阵的列最大值形成一个新的行，再将这些行进行拼接得到新的矩阵，这个新的矩阵即为父类的预测矩阵，这个转化过程称之为levelmax操作，整体过程如下公式所示：predj＝levelmaxpredj+1其中0≤j＜n。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京计算机技术及应用研究所，其通讯地址为：100854 北京市海淀区永定路51号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。