买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京法伯宏业科技发展有限公司

摘要：本发明涉及大数据分析处理技术领域，具体涉及一种大数据平台的数据有效性校验方法及系统，该方法包括：读取各种属性类型的医药数据，包括待检测数据和历史数据；获取各属性类型的属性细节丰富度；得到各待检测数据在对应关键属性上的属性值归属度；获取各关键属性的取值随机性；结合所述属性值归属度与所述取值随机性，得到各待检测数据在对应关键属性上的属性值有效程度；获取各关键属性的数据差异程度；结合所述属性值有效程度与所述数据差异程度，得到各待检测数据在对应关键属性上的有效性得分，获取数据有效性校验结果。本申请提高了数据有效性校验的准确度。

主权项：1.一种大数据平台的数据有效性校验方法，其特征在于，该方法包括以下步骤：读取各种属性类型的待检测数据和历史数据；基于各种属性类型的所述历史数据的分布，确定所有属性类型中的关键属性；分析待检测数据和历史数据在各关键属性中的分布，得到各待检测数据在对应关键属性上的属性值归属度；分析各关键属性的历史数据的分布，得到各关键属性的取值随机性；结合所述属性值归属度与所述取值随机性，得到各待检测数据在对应关键属性上的属性值有效程度；分析各关键属性上待检测数据的分布与历史数据的分布的差异，得到各关键属性下所有待检测数据的数据差异程度；结合所述属性值有效程度与所述数据差异程度，得到各关键属性下所有待检测数据的有效性得分，获取数据有效性校验结果；所述属性值归属度的确定过程为：将各关键属性的所有历史数据的取值范围均分为预设数量个取值区间，将各关键属性的各取值区间内历史数据的数量与所有历史数据的数量的比值，确定为各关键属性的各取值区间的区间投影数量比；若待检测数据位于所述取值区间，则将对应取值区间的所述区间投影数量比与预设值的和值作为待检测数据的属性值归属度，否则，将所述预设值作为待检测数据的属性值归属度；所述取值随机性的确定过程为：将各关键属性的所有所述区间投影数量比组成投影数分布序列，计算所述投影数分布序列的集中程度，将数值1与所述集中程度的差值，作为各关键属性的取值随机性；所述数据差异程度的确定过程为：计算各关键属性的各取值区间内待检测数据的数量与所有待检测数据的数量的比值，记为第一比值，将各关键属性的所有所述第一比值组成待校验数据分布序列，将各关键属性的所述待校验数据分布序列与所述投影数分布序列的度量距离，确定为各关键属性下所有待检测数据的数据差异程度。

全文数据：

权利要求：

百度查询： 北京法伯宏业科技发展有限公司 一种大数据平台的数据有效性校验方法及系统