买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:鲁东大学
摘要:本发明公开了基于注意力机制的中文电子病历命名实体识别方法,首先收集中文电子病历医疗数据,构造医疗字典,应用微调后的预训练语言模型RoBERTa‑wwm‑ext‑large进行特征提取并输入BiLSTM模型,学习医疗文本的上下文语义;然后查询医疗字典,设计基于医疗概念的局部注意力机制,计算与字典中医疗概念相匹配的局部注意力权重;根据每个词所属的医疗概念,构造图神经网络,计算该词的图聚合表示,作为该词的位置嵌入,融合每个词的上下文表示与注意力表示,得到综合语义特征;最后利用全局指针网络来预测嵌套实体,解决了中文电子病历命名实体识别任务中实体边界模糊和实体嵌套难以处理的问题。
主权项:1.基于注意力机制的中文电子病历命名实体识别方法,其特征在于,包括以下步骤:S1、收集中文电子病历文本数据,并构造医疗字典:S2、将中文电子病历文本数据输入至预训练语言模型RoBERTa-wwm-ext-large进行特征提取,获得对应的医疗词嵌入;S3、针对中文电子病历文本数据中的每一个词,在医疗字典中查询该词的医疗概念嵌入,并将其与该词的医疗词嵌入按位相加,得到最终的词嵌入;S4、通过BiLSTM模型捕获中文电子病历文本数据中每个词的上下文语义,同时查询医疗字典生成掩码注意力向量,进而计算与医疗字典中医疗概念相匹配的注意力权重;S5、针对每个词所属的医疗概念,构建图神经网络,计算该词的图聚合表示,作为该词的位置嵌入;S6、经BiLSTM模型得到的医疗词嵌入与该词的位置嵌入相加作为自注意力机制中的value值,然后与注意力权重相乘,计算得到医疗文本中各词的注意力表示;将BiLSTM模型得到的词嵌入与该词的注意力表示拼接,并经过线性变换后得到该词的综合语义特征表示;S7、将综合语义特征组成的句子特征表示输入到全局指针网络中,计算命名实体得分,得到命名实体类别。
全文数据:
权利要求:
百度查询: 鲁东大学 基于注意力机制的中文电子病历命名实体识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。