龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：国际商业机器公司
摘要：用于实现一个网络爬虫平台的系统、方法和计算机程序产品，该网络爬虫平台包括一个或多个联合工作的容器化网络爬虫程序，以协同索引网络资源，减少由多个网络爬虫独立索引重叠的网络资源带来的冗余。平台提供了一个URL命名空间，允许爬虫向平台注册，并为其他爬虫创建URL端点，以便发现已注册到平台的爬虫并识别以前索引的网络资源。该平台为爬虫提供了爬虫通信以及数据和元数据的交换，这些数据和元数据是从以前被索引了的网络资源中获得的，从而允许爬虫共享现有的数据或元数据，而不必直接对网络资源爬网。当网络爬虫在不同地理位置的数据中心之间移动时，爬虫程序注册的URL被映射到后续的IP地址，从而允许注册到平台的其他爬虫进行透明和连续的识别。
主权项：1.一种计算机实现的方法，包括：由一个或多个处理器将第一容器化网络爬虫注册到网络爬虫平台；由一个或多个处理器将第一统一资源定位符URL命名空间分配给所述第一容器化网络爬虫；由一个或多个处理器接收对所述第一容器化网络爬虫的请求以索引与所述第一URL命名空间相关联的网络资源；由一个或多个处理器确定所述网络爬虫平台是否能够提供分配给注册到所述网络爬虫平台的第二容器化网络爬虫的第二URL命名空间，所述第二URL命名空间与所述第一URL命名空间匹配；响应于所述网络爬虫平台提供所述第二URL命名空间，采取的处理动作包括：由一个或多个处理器识别所述第二容器化网络爬虫，该第二容器化网络爬虫先前已索引了所述网络资源并存储了描述所述网络资源的数据或元数据；以及由一个或多个处理器基于将所述数据或所述元数据从与所述第二容器化网络爬虫关联的存储设备复制到与所述第一容器化网络爬虫关联的存储设备，来实现所述请求。
全文数据：
权利要求：
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号