买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川启睿克科技有限公司

摘要：本发明公开了一种基于数据采集的串行运行的方法，通过多线程的定时任务配置，采用三个控制器去控制数据类型、数据未完成进度和当前数据进度时间，同时对数据日志进行实时跟踪的方式，就可以避免出串行采集时容易出现要么数据丢失，要么数据重跑时重复载入而导致服务器资源浪费等情况，节约了时间成本和服务器成本，又达到了数据的完整性。

主权项：1.一种基于数据采集的串行运行的方法，其特征在于，包括以下步骤：步骤1，初始化控制器、定时任务及日志表；步骤2，对数据类型进行判断和排序；步骤3，通过设置代码里自带的多线程方法，进行多线程定时任务调用；步骤4，程序每60秒通过多线程一起进入当前所有的线程后，各线程先去STATUS_MAP中查看当前状态；步骤5，进入线程后，去NOT_DONE_MAP找到当前此类型的未完成个数；如果个数为0表示前面没有未完成的此类型个数，直接开始进行下一步判断；如果大于0，表示之前的还有未完成的此类型的采集任务，然后从TIME_MAP获取到任务开始时间到当前的时间的差作为间隔时间，如果间隔时间超过了设置的最长阈值，去抓取日志进行当前位置的跟踪，记录下采集的断点位置和数据属性，并强制对次采集任务进行暂停操作，STATUS_MAP里面当前类型设置为等待状态，下一个类型的值改为开始状态，重新开始步骤4；如果间隔时间没有超过设置的最长阈值，表示前一次进来的采集任务还没结束，就结束线程，重新开始步骤4；步骤6，当NOT_DONE_MAP找到当前此类型的未完成个数为0时，去日志里查询是否有采集断点，若有，则获取数据属性，设置到当前采集的开始参数里面；若没有，则去日志里查询上一次的采集结束的数据属性，设置到当前采集的开始参数里面；步骤7，将当前类型的采集模块个数存到NOT_DONE_MAP，将当前时间赋给TIME_MAP里此类型的值，开始采集功能；步骤8，当某一个模块完成采集功能后，NOT_DONE_MAP里面个数减1，一直到所有的模块都采集完，NOT_DONE_MAP的值为0后，将STATUS_MAP里面当前类型设置为等待状态，下一个类型的值改为开始状态，重新开始步骤4，准备开始下一个类型的数据采集。

全文数据：

权利要求：

百度查询： 四川启睿克科技有限公司 一种基于数据采集的串行运行的方法