龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：安徽华云安科技有限公司
摘要：本公开的实施例提供了一种基于快慢线程池的网页数据采集方法；应用于网页数据采集技术领域。所述方法包括将快速线程池各子线程执行的任务中已完成任务移动至完成任务列表，快速线程池子线程下载从待处理URL列表中提取的URL；将慢速线程池各子线程执行的任务中所有任务移动至完成任务列表，慢速线程池子线程执行快速线程池各子线程执行超时失败的任务；将完成任务列表中所有已完成任务的任务信息保存至日志；若待处理URL列表中仍有待下载URL，则依次重复以上步骤至待处理URL列表中全部URL提取完成。以此方式，可充分发挥系统资源性能，避免系统负载过重网络拥塞，实现超高速网页数据下载，提高下载效率，节约时间成本。
主权项：1.一种基于快慢线程池的网页数据采集方法，其特征在于，包括：获取待处理URL列表，并提取待处理URL列表中的URL；遍历快速线程池中各子线程执行的下载任务，将已完成任务移动至完成任务列表，调用快速线程池中的子线程下载所述提取的URL；遍历慢速线程池中各子线程执行的下载任务，将遍历得到的所有任务移动至完成任务列表，调用慢速线程池中的子线程执行快速线程池中各子线程执行超时或失败的任务；遍历完成任务列表中的任务，将完成任务列表中已完成任务的任务信息保存至日志文件；若待处理URL列表中仍存在待下载的URL，则依次重复提取待处理URL列表中的URL、执行对快速线程池、慢速线程池及完成任务列表的操作，直至待处理URL列表中的全部URL提取完成。
全文数据：
权利要求：
百度查询： 安徽华云安科技有限公司 基于快慢线程池的网页数据采集方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号