思创数码科技股份有限公司卓喜华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉思创数码科技股份有限公司申请的专利一种基于ETL的数据处理方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120378377B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510873925.5,技术领域涉及:H04L47/32;该发明授权一种基于ETL的数据处理方法及系统是由卓喜华;闵红星;万娟设计研发完成,并于2025-06-27向国家知识产权局提交的专利申请。
本一种基于ETL的数据处理方法及系统在说明书摘要公布了:本发明提供一种基于ETL的数据处理方法及系统,方法包括以下步骤:于抽取节点及转换节点之间构建第一传输队列,并于转换节点及加载节点之间构建第二传输队列;获取第一传输队列、第二传输队列及数据传输系统的系统属性,通过系统属性判断是否进行数据抽取;若进行数据抽取,则通过系统属性获取实时抽取速度,基于实时抽取速度,通过抽取节点自若干个异构系统内抽取待用数据包,并将待用数据包依次传输至转换节点及加载节点。通过实时监控数据包堆积量及系统占用量,规避资源不足导致的系统失衡;以系统属性为权衡的依据,以动态控制平衡抽取节点、转换节点及加载节点的速度,提升了数据处理的效率及稳定性。
本发明授权一种基于ETL的数据处理方法及系统在权利要求书中公布了:1.一种基于ETL的数据处理方法,用于将数据自抽取节点依次传递自转换节点及加载节点,所述抽取节点、所述转换节点及所述加载节点构成数据传输系统,所述抽取节点连接若干个异构系统,其特征在于,所述基于ETL的数据处理方法包括以下步骤: 于所述抽取节点及所述转换节点之间构建第一传输队列,并于所述转换节点及所述加载节点之间构建第二传输队列; 获取所述第一传输队列、所述第二传输队列及所述数据传输系统的系统属性,所述系统属性包括第一实时包数量、第一实时队列内存、第二实时包数量、第二实时队列内存及系统内存,通过所述系统属性判断是否进行数据抽取; 所述通过所述系统属性判断是否进行数据抽取的步骤包括: 将所述第一实时包数量与第一最大包数量进行比对、将所述第一实时队列内存与第一最大内存进行比对、将所述第二实时包数量与第二最大包数量进行比对、将所述第二实时队列内存与第二最大内存进行比对、将所述系统内存与最大系统内存进行比对; 若所述第一实时包数量小于所述第一最大包数量、且所述第一实时队列内存小于所述第一最大内存、且所述第二实时包数量小于所述第二最大包数量、且所述第二实时队列内存小于所述第二最大内存、且所述系统内存小于所述最大系统内存,则判定进行数据抽取; 若进行数据抽取,则通过所述系统属性获取实时抽取速度,基于所述实时抽取速度,通过所述抽取节点自若干个所述异构系统内抽取待用数据包,并将所述待用数据包依次传输至所述转换节点及所述加载节点; 所述通过所述系统属性获取实时抽取速度的步骤包括: 获取预设抽取速度,通过所述第一实时包数量及所述第一最大包数量获取第一调节参数、通过所述第一实时队列内存及所述第一最大内存获取第二调节参数、通过所述第二实时包数量及所述第二最大包数量获取第三调节参数、通过所述第二实时队列内存及所述第二最大内存获取第四调节参数、通过所述系统内存及所述最大系统内存获取第五调节参数; 分别为所述第一调节参数、所述第二调节参数、所述第三调节参数、所述第四调节参数及所述第五调节参数赋予参数权重,以将所述第一调节参数、所述第二调节参数、所述第三调节参数、所述第四调节参数及所述第五调节参数加权为调节系数; 将所述调节系数与系数阈值进行比对,以获取调节幅值,基于所述调节幅值将所述预设抽取速度调节为实时抽取速度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人思创数码科技股份有限公司,其通讯地址为:330000 江西省南昌市高新区火炬大道681号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。