买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京东方通网信科技有限公司

摘要：本发明提供一种自定义的可视化爬虫配置方法，包括：基于获取的若干个测试网页，按照预设若干个第一规则进行可视化爬虫，生成可视化爬虫结果；基于可视化爬虫结果的评估结果，对若干个第一规则进行筛选整合并进行应用定义，生成可视化爬虫规则模型；基于可视化爬虫规则模型，对目标网页执行爬取操作。本发明通过对测试网页进行爬虫测试，并根据对爬虫测试结果的评估，获得爬取规则，根据整合爬取规则后生成的可视化爬虫规则模型进行爬取操作，提高了爬取规则的应用灵活性和爬取的质量，有利于可视化爬虫技术的高效灵活使用。

主权项：1.一种自定义的可视化爬虫配置方法，其特征在于，包括：S1：基于获取的若干个测试网页，按照预设若干个第一规则进行可视化爬虫，生成可视化爬虫结果；S2：基于可视化爬虫结果的评估结果，对若干个第一规则进行筛选整合并进行应用定义，生成可视化爬虫规则模型；S3：基于可视化爬虫规则模型，对目标网页执行爬取操作；S2包括：S201：基于预设的可视化爬虫结果评估条件，对可视化爬虫结果进行评估，获得若干个评估结果为合格的第一评估结果；S202：设置评估结果筛选标准条件，在第一评估结果中，利用评估结果筛选标准条件，筛选出若干个测试网页的若干个最佳评估结果，根据最佳评估结果获得对应的最佳可视化爬虫结果，根据最佳可视化爬虫结果获得对应的最佳第一规则；S203：将若干个最佳第一规则整合，并进行规则应用定义，生成可视化爬虫规则模型；S201包括：S2011：基于可视化爬虫结果的爬取速度和爬取量，设置评估条件；若爬取速度大于预设的爬取速度阈值，并且爬取量大于预设的爬取量阈值，则将评估结果评估为合格；S2012：基于评估条件，对若干个测试网页的若干个可视化爬虫结果进行评估，获得若干个评估结果评估为合格的第一评估结果；S203包括：S2031：提取测试网页的属性特征，基于属性特征和最佳第一规则，利用神经网络模型建立属性特征与最佳第一规则的对应关系库；S2032：基于最佳第一规则，定义最佳第一规则的应用标签；并基于对应关系库，获得应用标签与测试网页的匹配关系；S2033：基于知识图谱技术，根据测试网页、应用标签和最佳第一规则相互间的关系，生成可视化爬虫规则模型。

全文数据：

权利要求：

百度查询： 北京东方通网信科技有限公司 一种自定义的可视化爬虫配置方法