龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国石油大学(华东)
摘要：本发明涉及自然语言处理领域，具体涉及一种基于增强RoBERTa‑GlobalPointer的中文医学领域命名实体识别方法，包括：将任意中文医疗句子输入训练好的实体识别模型中，得到命名实体识别结果。本发明基于RoBERTa预训练模型通过上下文计算字的向量表征；医疗领域自适应预训练加速训练过程，提高训练效率；模型自蒸馏将不同时间步长的中间模型组合在一个训练阶段中，来提高模型的性能；对抗性训练通过对输入进行微小但有意义的扰动，使其在面对对抗性攻击时仍然保持高准确性；全局指针网络同时考虑实体的头部和尾部的特征来预测实体，显著提高了中文医学文本的命名实体识别准确率。
主权项：1.一种基于增强RoBERTa-GlobalPointer的中文医学领域命名实体识别方法，其特征在于，包括以下步骤：将任意中文医疗句子输入训练好的实体识别模型中，输出句子的词性标注结果，得到命名实体识别结果，其中实体识别模型先训练后使用，其训练过程如下：S1、数据预处理：对中文医学文本进行分词、去除停用词等预处理操作，将预处理后的数据集按3:1分为训练集和测试集；S2、数据增强：对中文医学文本中歧义词语所在文本集合中数量较少的类别进行扩充，使之数量比不高于10:1，扩充方式采用同义词替换，替换比例文文本的15％；S3、医疗领域自适应预训练：将RoBERTa预训练模型在大量中文医学领域文本中进行自适应预训练；S4、将训练集输入到增强RoBERTa模型中进行处理，得到输出序列向量；S5、将RoBERTa层的输出经过两个全链接层得到实体的首尾向量表示输入到全局指针网络，全局指针网络对预测的实体跨度进行打分后，对打分矩阵解码，得到最优预测标签序列和初始实体识别模型；采用反向传播的方式更新初始实体识别模型各层神经元的参数值以及连接权重，缩小预测标签与真实标签之间的误差，得到训练好的实体识别模型；S6、得到训练好的实体识别模型后，使用测试集对训练好的实体识别模型进行测试，评价实体识别效果；经过多轮训练后，选择测试集效果最好的轮次的模型作为最终的模型。
全文数据：
权利要求：
百度查询： 中国石油大学(华东) 一种基于增强RoBERTa-GlobalPointer的中文医学领域命名实体识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号