买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：淮阴工学院

摘要：本发明公开了一种基于新词识别的化工领域分词方法，通过结合内部凝固度、聚集性规则以及新词识别模型来构建新词集合，将得到的新词集合对一次分词结果进行细化分词，获得最后的分词结果。包括下列步骤：S1、对获取的化工文本进行预处理操作获得切分词语集；S2、根据内部凝固度和预设的阈值，从多个切分词语集中获取预设数目的切分词语，采用符合聚集性规则构建候选新词集；S3、将候选新词语的统计量特征作为自变量进行训练新词识别模型；S4、将候选新词集中的候选新词语输入模型，进行成词判断，返回新词集合；S5、利用新词集合对一次分词结果进行细化分词，得到分词结果。本发明提出的构建新词集合方法以及细化分词模块能进一步提高分词准确率。

主权项：1.一种基于新词识别的化工领域分词方法，其特征在于，包括以下步骤：S1、对获取的中文化工文本进行预处理操作获得切分词语集；S2、针对各切分词语，获取切分词语的内部凝固度，根据所述内部凝固度和预设的凝固度阈值，从所述多个切分词语集中获取预设数目的切分词语，采用符合聚集性规则构建候选新词集；所述切分词语内部凝固度获取方法为：将S1中得到的语料从左至右扩展候选词语，计算候选词语与右邻接字的增强信息值，若超过阈值便继续向右扩展，否则从上一位置切分，下一字串的截取位置从此位置作为起始点，继续向右扩展，形成候选未登录词集，用词语本身出现概率与该词语所有二分方法中两个组成部分独立出现的概率乘积比值的最小值来表示某一词语的增强信息值，采用以下公式计算增强信息值； 其中c表示候选词语，lenc表示词c的长度，c[0：i]，c[i：lenc表示该候选词所有二分方法中两个组成部分；S3、在所述候选新词集中随机选取L条数据作为训练集的初始规模，每次按照一定的增量增加训练集的规模，将候选新词语的统计量特征作为自变量进行训练新词识别模型，当模型的准确率浮动范围基本不变时停止训练；S4、将所述候选新词集中除去训练集以外的候选新词语输入模型，进行进一步的成词判断，返回新词集合；S5、将NLPIR分词结果作为一次分词结果，利用S4得到的新词集合对所述分词结果进行细化分词，得到分词结果，具体步骤包括：S51、利用NLPIR分词算法得到一次分词结果，采用从右向左的顺序对所述分词结果的字符串，与S4得到的新词集合匹配，匹配成功将该字符串切分为词；S52、如果匹配后词的数目变多或匹配后单字词的数目变多，则不对此次匹配做调整，反之将匹配后的结果作为最终的分词结果。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种基于新词识别的化工领域分词方法