买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明涉及数据处理技术领域,尤其涉及一种基于港区监管数据的采集处理方法。内容包括:引入动态自适应数据采集算法进行数据采集,在动态自适应数据采集算法基础上实施数据校验机制,并在数据校验后实施数据保密机制,得到港区监管数据;设计包含故障恢复机制的实时数据处理引擎,对港区监管数据进行处理;同时引入数据优化处理算法,动态调整处理路径和资源分配。解决了在港区监管数据的采集处理过程中,数据采集效率和准确性较低以及数据处理实时性和效率较差的技术问题。
主权项:1.一种基于港区监管数据的采集处理方法,其特征在于,包括以下步骤:S1.引入动态自适应数据采集算法进行数据采集,动态自适应数据采集算法具体实现过程如下:第一步,计算每种数据类型的重要性评分;具体实现为: ;其中,是数据类型的重要性评分;是数据类型的出现概率;是数据类型的权重;是第个影响因素的函数;为第个影响因素的具体值;是影响因素的总数;第二步,计算每种数据的变化率和不确定性,并结合变化率和不确定性,计算综合复杂性;具体实现为: ;其中,是综合复杂性指数矩阵;是变化率向量;是不确定性向量;是描述数据类型间相互依赖的矩阵;表示转置;第三步,根据每种数据类型的重要性评分和综合复杂性,调整每种数据类型的采集频率和精度;动态调整采集频率: ;其中,是数据类型的采集频率;是数据类型的复杂性指数,是数据类型的复杂性指数;是数据类型的重要性评分;表示数据类型总数;是最大采集频率;精度设置: ;其中,是数据类型的采集精度;第四步,基于各数据类型的采集频率和精度需求,进行资源分配;具体实现为: ;其中,是分配给数据类型的资源;是总资源量;在动态自适应数据采集算法基础上实施基于多维动态校验算法的数据校验机制,多维动态校验算法的具体实现过程如下:第一步,对港区监管数据进行平滑处理;第二步,通过多维度的校验,检测并纠正平滑处理后的数据中的异常值;第三步,根据校验结果,对异常数据进行纠正;并在数据校验后实施数据保密机制,得到港区监管数据;S2.设计包含故障恢复机制的实时数据处理引擎,对港区监管数据进行处理;同时引入数据优化处理算法,对港区监管数据的数据流进行分流,得到分流后的数据,并对分流后的数据进行实时数据处理;数据优化处理算法的具体实现如下:首先,根据数据流的变化,动态调整数据处理路径;再通过最小化总处理时间来优化路径;进一步,根据实时数据流和处理路径的变化,动态调度资源;最后,进行最优解计算,得到最优路径以及资源分配;并根据实时数据流和处理结果,动态调整数据处理路径和资源分配。
全文数据:
权利要求:
百度查询: 山东港口科技集团烟台有限公司 一种基于港区监管数据的采集处理方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。