龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：戎行技术有限公司
摘要：本申请提供了一种基于采集频次的数据处理方法及装置，涉及数据处理技术领域，解决了网站数据采集在成本较高的情况下采集成功率却较低的技术问题。该方法包括：向待采集网站发送多次采集请求；如果多次采集请求中第一次采集请求对应的反馈结果为采集成功且第二次采集请求及以后的采集重试请求对应的反馈结果为采集失败，则根据第二次采集请求及采集重试请求的请求发送成功次数确定每个请求发送成功次数之间的重试间隔时长，并将请求发送成功次数确定为请求重试次数；如果请求重试次数大于预设次数阈值且重试间隔时长大于预设时长阈值，则将待采集网站确定为目标网站，对待发送至目标网站的采集请求与上一次采集请求的发送间隔时长进行延长。
主权项：1.一种基于采集频次的数据处理方法，其特征在于，所述方法包括：获取待采集网站，并向所述待采集网站发送多次采集请求；其中，所述多次采集请求之间存在间隔时间；如果所述多次采集请求中第一次采集请求对应的反馈结果为采集成功且第二次采集请求及以后的采集重试请求对应的反馈结果为采集失败，则根据所述第二次采集请求及所述采集重试请求的请求发送成功次数确定每个所述请求发送成功次数之间的重试间隔时长，并将所述请求发送成功次数确定为请求重试次数；如果所述请求重试次数大于预设次数阈值且所述重试间隔时长大于预设时长阈值，则将所述待采集网站确定为目标网站，对待发送至所述目标网站的采集请求与上一次采集请求的发送间隔时长进行延长，并在多个所述请求重试次数中确定在第一预设时长内的第一请求重试次数以及在第二预设时长内的第二请求重试次数；其中，所述第二预设时长小于所述第一预设时长；如果所述第一请求重试次数超过第一预设次数且所述第二请求重试次数未超过第二预设次数，则将待发送至所述目标网站的采集请求的采集频次按照第一预设降低比例值进行缩减；其中，所述第一预设次数小于所述第二预设次数；如果所述第一请求重试次数超过所述第一预设次数且所述第二请求重试次数超过所述第二预设次数，则将待发送至所述目标网站的采集请求的采集频次按照第二预设降低比例值进行缩减；其中，所述第二预设降低比例值大于所述第一预设降低比例值。
全文数据：
权利要求：
百度查询： 戎行技术有限公司 基于采集频次的数据处理方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号