买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：济宁蜗牛软件科技有限公司

摘要：本发明涉及数据处理技术领域，具体涉及一种海量档案数据优化存储方法。该方法获取数据样本集；将数据样本拆分为词汇，根据词汇出现的频率，获取特征程度值，确定特征词；通过层次聚类算法对数据样本进行聚类，根据任意两个节点的子节点的特征词的特征程度值和在父节点的特征程度值，以及子节点的词袋模型，获取任意两个节点的可聚类值，确定聚类层次树；根据聚类层次树的每个层次中节点内数据样本的相似程度和节点之间的相似程度，获取聚类效果值，确定数据样本类别，对档案数据进行优化存储。本发明通过分析节点的特征词和词袋模型，对节点进行聚类，降低了层次聚类算法的计算量，提高了聚类结果的准确性，实现对档案数据的优化存储。

主权项：1.一种海量档案数据优化存储方法，其特征在于，该方法包括以下步骤：获取海量档案数据的数据样本集；将每个数据样本的文本拆分为词汇，根据每个词汇在每个数据样本中出现的频率和在数据样本集中出现的频率，获取每个词汇在每个数据样本中的特征程度值，确定每个数据样本的特征词；将一个数据样本作为一个节点，通过层次聚类算法对数据样本进行聚类，根据父节点内数据样本的特征词和当前其他节点内数据样本的特征词，获取父节点的特征词；根据任意两个节点的子节点的特征词的特征程度值和在父节点的特征程度值，以及子节点的词袋模型的特征向量的相似程度，获取任意两个节点的可聚类值，确定聚类层次树；根据聚类层次树的每个层次中每个节点内任意两个数据样本的词袋模型的特征向量的相似程度和任意两个节点的词袋模型的特征向量的相似程度，获取每个层次的聚类效果值；根据所述聚类效果值，确定最佳聚类层次，获取数据样本类别，对每个数据样本类别中的档案数据进行优化存储；所述特征程度值的计算公式为： 式中，为第a个词汇在第b个数据样本中的特征程度值；为第a个词汇在第b个数据样本中出现的次数；为第b个数据样本中词汇的总数量；为存在第a个词汇的数据样本的数量；M为数据样本的总数量；为第a个词汇在第b个数据样本中出现的频率；为第a个词汇在数据样本集中出现的频率；norm为归一化函数；所述确定每个数据样本的特征词的方法为：当所述特征程度值大于预设的特征程度值阈值时，将对应词汇作为对应数据样本的特征词；所述获取父节点的特征词的方法为：对于任一个父节点，将该父节点内所有数据样本的特征词作为参考特征词；获取每个参考特征词在该父节点中出现的频率，作为对应参考特征词的第一频率；获取每个参考特征词在当前所有节点中出现的频率，作为对应参考特征词的第二频率；将每个参考特征词的第一频率与第二频率的比值，作为对应参考特征词在该父节点的特征程度值；将在该父节点的特征程度值大于预设的特征程度值阈值的参考特征词，作为该父节点的特征词；所述可聚类值的获取方法为：当聚类的两个节点均不存在子节点时，根据相同特征词在两个节点的特征程度值的差异和两个节点的词袋模型的特征向量的余弦相似度，获取两个节点的可聚类值；当聚类的两个节点中只有一个节点存在子节点时，将不存在子节点的节点作为第一节点，将存在子节点的节点作为第二节点；对于第二节点中的任一个子节点，获取该子节点的每个特征词在第二节点的特征程度值的累加结果，作为该子节点的第一结果；将该子节点的每个特征词在第二节点的特征程度值与所述第一结果的比值，作为该子节点的对应特征词的贡献程度值；将该子节点的每个特征词的贡献程度值和特征程度值的乘积，作为该子节点的对应特征词在第二节点的实际参与值；根据相同特征词在第一节点的特征程度值和在第二节点的实际参与值之间的差异，以及第一节点的词袋模型的特征向量与第二节点的每个子节点的词袋模型的特征向量的余弦相似度，获取两个节点的可聚类值；当聚类的两个节点均存在子节点时，根据相同特征词在两个节点的实际参与值的差异和两个节点的子节点的词袋模型的特征向量的余弦相似度，获取两个节点的可聚类值；所述可聚类值的计算公式为：当聚类的两个节点均不存在子节点时： 当聚类的两个节点中只有一个节点存在子节点时： 当聚类的两个节点均存在子节点时： 式中，为第x个节点和第y个节点的可聚类值；K为第x个节点和第y个节点的特征词的种类总数量；为第k种特征词在第x个节点中的特征程度值；为第k种特征词在第y个节点中的特征程度值；为第x个节点的词袋模型的特征向量；为第y个节点的词袋模型的特征向量；为第x个节点和第y个节点的词袋模型的特征向量的余弦相似度；J为第x个节点和第y个节点的所有子节点的特征词的种类总数量；为第j种特征词在第x个节点中的特征程度值；为第j种特征词在第y个节点的第v个子节点中的特征程度值；为第y个节点的第v个子节点的第j种特征词在第y个节点中的特征程度值；为第y个节点的第v个子节点的第一结果；为第y个节点的第v个子节点的第j种特征词的贡献程度值；V为第y个节点的子节点的总数量；为第y个节点的第v个子节点的词袋模型的特征向量；T为第x个节点的所有子节点的特征词和第y个节点的所有子节点的特征词的种类总数量；Q为第x个节点的子节点的总数量；为第t种特征词在第x个节点的第q个子节点中的特征程度值；为第t种特征词在第y个节点的第v个子节点中的特征程度值；为第x个节点的第q个子节点的第t种特征词在第x个节点中的特征程度值；为第y个节点的第v个子节点的第t种特征词在第y个节点中的特征程度值；为第x个节点的第q个子节点的第一结果；为第x个节点的第q个子节点的第j种特征词的贡献程度值；为第一预设常数，大于0；为绝对值函数；为取模符号；norm为归一化函数；所述确定聚类层次树的方法为：获取每个节点与其他任一个节点之间的可聚类值，将最大的可聚类值对应的两个节点进行聚类，直至所有的节点聚类为一个节点，停止聚类，确定层次聚类算法对应的聚类层次树；所述聚类效果值的获取方法为：获取每个层次中每个节点内任意两个数据样本的词袋模型的特征向量的余弦相似度，作为第一特征值；获取每个层次中任意两个节点的词袋模型的特征向量的余弦相似度，作为第二特征值；根据每个层次中第二特征值的方差和每个节点内第一特征值的方差，获取每个层次的聚类效果值；所述聚类效果值的计算公式为： 式中，为第c个层次的聚类效果值；H为第c个层次中节点的总数量；为第c个层次中第h个节点内第一特征值的方差；为第c个层次中第二特征值的方差；为第二预设常数，大于0；所述根据所述聚类效果值，确定最佳聚类层次，获取数据样本类别的方法为：将最大的聚类效果值对应的层次，作为最佳聚类层次；将最佳聚类层次上的每个节点作为数据样本类别。

全文数据：

权利要求：

百度查询： 济宁蜗牛软件科技有限公司 一种海量档案数据优化存储方法