买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:同方知网数字出版技术股份有限公司;同方知网(北京)技术有限公司
摘要:本发明公开了一种基于数字人文的实体分类模型训练与预测方法,包括:从部分工具书中检索出至少六类实体,将人物实体中带有特殊描述前缀后缀的文本,利用HMM模型提取出词性为nr的文本,作为清洗后的样本;将检索出的实体分为正负两类,投入BertTokenizer中转换为token向量,并根据实体的文本长度特征,将向量扩充为16维向量;训练token文本向量,得到BIRNN分类模型结构;识别并校准BIRNN分类模型结果,生成不同类别的词典;将结果导出到数据库中,进行审核、去重并补全信息。
主权项:1.一种基于数字人文的实体分类模型训练与预测方法,其特征在于,包括:步骤A从分类明确的工具书中检索出至少六类实体,将人物实体中带有特殊描述前缀后缀的文本,利用HMM模型提取出词性为nr的文本,作为清洗后的样本;步骤B将检索出的实体分为正负两类,投入BertTokenizer中转换为token向量,并根据实体的文本长度特征,将token向量扩充为16维向量;步骤C训练token向量,得到BIRNN分类模型结构;步骤D识别并校准BIRNN分类模型结果,生成不同类别的词典;步骤E将结果导出到数据库中,进行审核、去重并补全信息;所述实体分类模型训练与预测方法对古代人文信息的人物、官职、机构、朝代、事件、地点及其他实体进行分类,包括:不规则样本调整模型,用于将文本信息过于冗长的样本提取出精简文本,通过不规则样本调整模型对目标实体进行初步调整,便于提高分类模型精度;实体类型分类模型,由于均为短文本,考虑到RNN较强的短期记忆能力,采用Bert+BIRNN算法,获得目标实体的分类结果;所述步骤C中BIRNN分类模型中神经网络结构包括:嵌入层,用于对序列中的每一个字相应的向量进行加权,并将16维的稀疏特征向量经过空间投影转为8维的嵌入向量;Dropout层,设置有两层,且中间一层双向RNN,在双向RNN层前后各设置一层Dropout,增强BIRNN分类模型泛化能力;Softmax层,根据实体的向量特征得到一个类别分布概率向量,取概率值最大的类别作为最终预测结果;所述步骤E中进行审核、去重并补全的信息具体包括:人物实体,人物具有不同的名字或别称,通过实体样本中带有的信息,进行别称合并,别称放入“别称”字段中,只保留人名作为人物实体的唯一标识;地点实体,不同朝代中地点命名相同或不同,不同朝代的地点作为不同的实体,并添加地点经纬度。
全文数据:
权利要求:
百度查询: 同方知网数字出版技术股份有限公司 同方知网(北京)技术有限公司 一种基于数字人文的实体分类模型训练与预测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。