买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东方财富信息股份有限公司

摘要：本发明提出了一种基于推理、高置信度、遗传迭代的新词发现算法。本发明提出了用推理方式替代组合穷举方式产生候选新词，将新词候选集从超巨大稀疏空间，降低了到数十万的量级，使得现有的计算和存储资源从不可处理，变成可以处理；本发明提出了具有归一化性质的置信度指标，可以很好地定义置信度阈值，给出高质量的候选新词，大大提高人工编辑的工作效率。本发明提出了高置信度遗传迭代流程，每一个迭代周期，只把置信度高的，并且人工审核通过的新词加入到词典中，分阶段逐步提高词典覆盖率，直至100％的目标。本发明提出了一个技术方案关于上述新词发现算法的分布式计算技术架构实现方法，其专业化分工、风险分散和独立管理的设计原理，可以提高系统整体稳定性和调度性能。

主权项：1.一种基于推理、高置信度、遗传迭代的新词发现方法，其特征在于，包括以下步骤：步骤1：将第t-1轮迭代更新后的分词算法自带词典第三方数据库提供的第三方词典以及新增词典组成第t轮迭代所使用的词典Dictt；步骤2：获得第t轮迭代的候选新词集合，通过分词直接推理得到候选新词集合中的候选新词，并且基于弹性颗粒度得到候选新词集合中的候选新词，其中：通过分词直接推理得到候选新词集合中的候选新词，包括以下步骤：由分词算法基于词典Dictt对当前的给定语料进行分词，若获得任意一个分词满足以下条件之一，则将认为当前分词为候选新词，加入候选新词集合中：条件一当前分词的上下文的分词都在词典Dictt中，只有当前分词不在词典Dictt中，则推断当前分词大概率是新词，加入候选新词集合并全局统计；条件二当前分词为多个单字符的组合，且当前分词的上下文的分词都在词典Dictt中，则由多个单字符的组合构成的当前分词大概率是新词，加入候选新词集合并全局统计；条件三当前分词的上下文被特殊符号划分，当前分词不在词典Dictt中，当前分词大概率是新词，加入候选新词集合并全局统计；基于弹性颗粒度得到候选新词集合中的候选新词，包括以下步骤：在最细分词颗粒度基础上，通过最近邻关系，将最近邻的N个单个分词形式的分词组合得到弹性颗粒度分词，将弹性颗粒度分词作为候选新词加入到候选新词集合中；步骤3：对候选新词集合中的候选新词进行全局语料统计，根据统计结果，将候选新词划分成真新词、不确定新词和假新词，真新词经过人工审核后加入新增词典从而获得第t轮迭代更新后的新增词典具体包括以下内容：定义：分词频率指标SF：表示当前分词以单个分词形式出现的频率，适用于最小颗粒度分词；词频指标TF：表示当前分词以单个分词形式或者以组合分词形式出现的频率，特点是当前分词的前后都有分词分隔符，适用于弹性颗粒度分词；文档数指标DF：表示当前语料中出现当前分词的文档数量；滑窗频率指标WF：表示当前分词以滑窗形式出现的频率，特点是不考虑分词，在没有标点符号的纯中文字符串中，在相同大小的滑窗中出现的次数；置信度指标，包括：置信度指标SF-IWF，适用于最小颗粒度分词；置信度指标TF-IWF，适用于弹性颗粒度分词；若候选新词集合中的候选新词为单个分词形式，则计算当前候选新词的分词频率指标SF、文档数指标DF、滑窗频率指标WF以及置信度指标SF-IWF，其中，若候选新词集合中的候选新词为组合分词形式，则计算当前候选新词的词频指标SF、文档数指标DF、滑窗频率指标WF以及置信度指标TF-IWF，其中，将候选新词集合中置信度指标95％以上的候选新词定义为真新词，置信度指标在5％～95％的候选新词定义为不确定新词，置信度指标在5％以下的候选新词定义为假新词；步骤4：对出现在分词算法词典以及第三方词典中的分词进行全局语料统计，对于单个分词形式的分词，计算其置信度指标SF-IWF，对于组合分词形式的分词，计算其置信度指标TF-IWF，将分词算法自带词典以及第三方词典中的置信度指标在5％以下的分词输出，经过人工审核后，将低质量的分词删除；步骤5：重复步骤1至步骤4，进行多轮迭代，使得由分词算法自带词典、第三方词典以及新增词典组成的词典能接近100％覆盖分词算法的分词结果，获得“完美”词典。

全文数据：

权利要求：

百度查询： 东方财富信息股份有限公司 基于推理、高置信度、遗传迭代的新词发现算法