买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：临沂大学;山东全球通网络科技有限公司

摘要：本发明涉及数据处理技术领域，具体涉及一种基于机器学习的数据清洗方法及系统，获取空气中PM2.5的浓度数据时序序列，计算时序序列内每个数据点的初始标签值；得到PM2.5的浓度数据时序序列中每个数据点的相似数据点；根据每个数据点的初始标签值构成每个数据点的修正标签序列；根据修正标签序列中的每个标签值、每个相似数据点的标签值以及每个数据点与每个数据点的每个相似数据点的时间间隔，得到每个数据点的最终修正标签序列，最后从所有数据点中筛选出若干个异常数据点。本发明通过对每个数据点的标签值进行不断的修正，结合每个数据点的修正标签序列中每种标签值出现的频数，提高了识别异常数据的准确性。

主权项：1.一种基于机器学习的数据清洗方法，其特征在于，该方法包括以下步骤：在预设时间段内，获取空气中的PM2.5的浓度数据时序序列；根据PM2.5的浓度数据时序序列中数据点对应的浓度数据的大小，得到PM2.5的浓度数据时序序列内每个数据点的初始标签值；构建PM2.5的浓度数据时序序列中的每个数据点对应的窗口序列段，获取每个数据点与其它每个数据点的窗口序列段中所有数据的皮尔逊相关系数；根据每个数据点与其它每个数据点的窗口序列段中所有数据的皮尔逊相关系数，得到每个数据点的相似数据点；根据每个数据点的初始标签值，构成每个数据点的修正标签序列；根据每个数据点的修正标签序列中的每个标签值、每个数据点的每个相似数据点的修正标签序列中的每个标签值、每个数据点与每个数据点的每个相似数据点的时间间隔，得到每个数据点的每个相似数据点的权重系数；根据每个数据点的每个相似数据点的权重系数，得到每个数据点的修正标签值；根据每个数据点的修正标签值，从所有数据点中筛选出若干个异常数据点；所述根据每个数据点的修正标签序列中的每个标签值、每个数据点的每个相似数据点的修正标签序列中的每个标签值、每个数据点与每个数据点的每个相似数据点的时间间隔，得到每个数据点的每个相似数据点的权重系数，包括的具体步骤如下：根据每个数据点的修正标签序列中的每个标签值以及每个数据点的每个相似数据点的修正标签序列中的每个标签值，得到每个数据点的每个相似数据点的标签值为第一预设值的稳定性和标签值为第二预设值的稳定性；将第个数据点的第个相似数据点的标签值为第一预设值的稳定性和标签值为第二预设值的稳定性中的最大值，记为第个数据点的第个相似数据点的最终稳定性；根据每个数据点与每个数据点的每个相似数据点的时间间隔，得到每个数据点与每个数据点的每个相似数据点的时间周期性；将每个数据点的每个相似数据点的最终稳定性与每个数据点与每个数据点的每个相似数据点的时间周期性的乘积，记为每个数据点的每个相似数据点的权重系数；根据每个数据点的修正标签序列中的每个标签值以及每个数据点的每个相似数据点的修正标签序列中的每个标签值，得到每个数据点的每个相似数据点的标签值为第一预设值的稳定性和标签值为第二预设值的稳定性的具体计算公式为： 其中，表示第个数据点的第个相似数据点的标签值为第一预设值的稳定性，表示第个数据点的第个相似数据点的标签值为第二预设值的稳定性，表示第个数据点的第个相似数据点的修正标签序列中标签值为第一预设值的个数，表示第个数据点的第个相似数据点的修正标签序列中连续相同为第一预设值的标签值构成的序列段数量，表示第个数据点的第个相似数据点的修正标签序列中标签值为第二预设值的个数，表示第个数据点的第个相似数据点的修正标签序列中连续相同为第二预设值的标签值构成的序列段数量；所述根据每个数据点与每个数据点的每个相似数据点的时间间隔，得到每个数据点与每个数据点的每个相似数据点的时间周期性的具体计算公式为： 其中，表示第个数据点的第个相似数据点与第个数据点的时间周期性，表示第个数据点与第个数据点的第个相似数据点的时间间隔除以预设时长的余数。

全文数据：

权利要求：

百度查询： 临沂大学 山东全球通网络科技有限公司 一种基于机器学习的数据清洗方法及系统