买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:绿盟科技集团股份有限公司;北京神州绿盟科技有限公司;神州绿盟成都科技有限公司
摘要:本公开涉及一种分布式爬虫检测方法、装置及设备,该方法包括:获取设定时间段内的包括多条告警数据的初始数据集,告警数据是入侵防御系统检测到异常访问请求时基于所述异常访问请求确定的;对初始数据集中的告警数据按照源IP地址进行分组,得到至少一个目标数据组,同一所述目标数据组中的告警数据的源IP地址相同;针对任意一个源IP地址,基于源IP地址对应的目标数据组中的告警数据的URL信息、UserAgent信息和请求时间中的部分或全部,确定源IP地址的行为特征信息;基于源IP地址的行为特征信息,判断源IP地址是否为分布式爬虫IP地址。本公开能够实现分布式爬虫检测,并提高分布式爬虫检测的准确性。
主权项:1.一种分布式爬虫检测方法,其特征在于,该方法包括:获取设定时间段内的包括多条告警数据的初始数据集,其中所述告警数据是入侵防御系统检测到异常访问请求时基于所述异常访问请求确定的;对所述初始数据集中的告警数据按照源IP地址进行分组,得到至少一个目标数据组,其中,同一所述目标数据组中的告警数据的源IP地址相同;针对任意一个源IP地址,基于所述源IP地址对应的目标数据组中的告警数据的统一资源定位系统URL信息、用户代理UserAgent信息和请求时间中的部分或全部,确定所述源IP地址的行为特征信息;基于所述源IP地址的行为特征信息,判断所述源IP地址是否为分布式爬虫IP地址。
全文数据:
权利要求:
百度查询: 绿盟科技集团股份有限公司 北京神州绿盟科技有限公司 神州绿盟成都科技有限公司 一种分布式爬虫检测方法、装置及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。