买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同方知网数字出版技术股份有限公司;《中国学术期刊(光盘版)》电子杂志社有限公司

摘要：本发明公开了一种语种无关的结合主题语义与TF*IDF算法的大规模文本分类方法及系统，本方法以TF*IDF算法为基础，在特征向量选择和权重计算过程中利用LDA计算的主题语义，通过LDA建模分析得到文档‑主题分布和主题‑词语分布，以此为基础计算主题语义因子TSF，并将TSF作为新的量化维度引入特征选择和特征向量权重计算中。本方法有效利用了特征项之间内在的关联性信息。也避免了直接根据LDA浅层主题语义进行文本分类而造成的实时增量分类处理能力弱，计算结果不稳定的问题。采用数据驱动的处理模式，与语种无关，无需额外的语言知识支撑，适合大规模、多语种文本数据的快速高效分类处理。

主权项：1.一种结合主题语义与TF*IDF算法的大规模文本分类方法，其特征在于，所述方法包括以下步骤：步骤A收集文本语料，并将收集得到的文本集进行预处理；步骤B对预处理后的文本集根据业务需要进行分类，分成训练语料和测试语料；步骤C对训练语料进行LDA分析处理，得到文档-主题分布和主题-词语分布；步骤D计算词语对文本分类的主题语义因子TSF；步骤E对测试语料进行特征词语的选取，形成数量不同的特征向量；步骤F采用特征词分类权重计算方法计算选取的特征词对应各分类的权重；步骤G构造文本分类器，利用分类器对测试文本集合进行计算，得到文本分类结果；步骤H采用评价函数评估分类器的性能参数，并根据评价参数结果确定特征向量；步骤I将新增加的文本进行预处理后送入文本分类器进行分类处理，得到分类结果；所述步骤D包括以下步骤：步骤D1计算分类的类别-主题分布； 给出的是文档-主题分布，需要转换为类别-主题分布；采用算术平均的方法直接计算，计算公式为： 其中，T表示属于分类C的文档总数，zj是分类C中各文档中隐含的主题；步骤D2词语w对文本分类C的主题语义因子TSF计算如下： 式中K表示LDA分析处理时确定的主题总数，φ为LDA分析得到的词语-主题分布；所述步骤E中特征词语的选取方法包括：对分词处理后的训练文本中的每个词语计算作为特征词语的信息增益；在信息增益的基础上，考虑主题语义因子的影响；信息增益的值为不考虑任何特征时文档的熵和考虑了上述主题语义因子后文档熵的差值，计算公式为： 式中PC表示C类文档在语料中的出现概率，Pw表示语料中包含特征项w的文档概率，PC|w表示文档包含特征项w时属于C类的条件概率，表示语料中不包含特征项w的文档概率，表示文档不包含特征项w时属于C类的条件概率，M表示对文本集合分类的总数；在计算信息增益的基础上，结合主题语义因子TSF计算词语的分类重要值，公式如下： 根据词语的分类重要值大小，选取不同数目的词语作为特征向量；所述步骤F中选取的特征词对应各分类的权重的计算公式为： 式中tfw表示词语w在训练文本集合中C类别中出现的频次，N表示训练文本集合中的文本总数，nw表示训练文本集合中出现词语w的文本数量，TSFw|C为计算得到的主题语义因子，表示词语w对C类文档分类的重要性。

全文数据：

权利要求：

百度查询： 同方知网数字出版技术股份有限公司 《中国学术期刊(光盘版)》电子杂志社有限公司 一种结合主题语义与TF*IDF算法的大规模文本分类方法及系统