Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 北京长亭科技有限公司叶信炜获国家专利权

北京长亭科技有限公司叶信炜获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉北京长亭科技有限公司申请的专利一种基于浏览器渲染的网站地图爬虫方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120470168B

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510978859.8,技术领域涉及:G06F16/951;该发明授权一种基于浏览器渲染的网站地图爬虫方法及装置是由叶信炜;李亚伟;吴琼;朱文雷;杨坤;余慧英;刘金钊;徐鹏志;崔勤设计研发完成,并于2025-07-16向国家知识产权局提交的专利申请。

一种基于浏览器渲染的网站地图爬虫方法及装置在说明书摘要公布了:发明公开了一种基于浏览器渲染的网站地图爬虫方法及装置,涉及计算机网络技术,方法包括:通过浏览器渲染引擎对目标网站的当前页面进行渲染;在页面渲染完毕后,模拟用户对页面的交互行为,监听页面中发生的DOM变化事件,捕捉由用户交互行为触发的页面动态路径;将捕捉的全部页面动态路径构造为当前页面的可扩展路径集合,对可扩展路径集合中的每个待访问的路径进行综合优先级评分,依据评分结果对路径优先级进行动态排序,将高优先级的路径作为下一轮页面渲染的访问入口;重复上述步骤,直至满足任务终止条件。本发明构建了一套具有高覆盖率、高精度与高可控性的网站子路径抓取体系。

本发明授权一种基于浏览器渲染的网站地图爬虫方法及装置在权利要求书中公布了:1.一种基于浏览器渲染的网站地图爬虫方法,其特征在于,包括如下步骤: 通过浏览器渲染引擎对目标网站的当前页面进行渲染; 在页面渲染完毕后,模拟用户对页面的交互行为,监听页面中发生的DOM变化事件,捕捉由用户交互行为触发的页面动态路径; 将捕捉的全部页面动态路径构造为当前页面的可扩展路径集合;对所述可扩展路径集合中的每个待访问的路径进行综合优先级评分,包括:解析已渲染页面的DOM结构,计算每个路径标签在DOM树中的嵌套深度,对嵌套深度相对更浅的路径标签赋予更高的结构层级评分;识别页面中由模拟用户交互行为触发的动态路径,判断动态路径在该页面中的比例,将动态路径占比高的页面路径赋予更高的动态占比评分;提取页面中每个待访问路径的链接文本、URL地址和上下文信息,通过自然语言处理或规则引擎评估每个待访问路径与核心业务的相关度,对相关度更高的待访问路径,赋予更高的路径语义评分;识别页面路径是否包含动态参数,或者该页面是否被其他页面以iframe嵌套方式引入,是则下调该页面路径的结构置信度评分;识别页面的更新频率和历史爬取成功率,对具有更高的页面更新频率和历史爬取成功率的页面路径,给予更高的重要程度评分;对每个页面路径的结构层级评分、动态占比评分、路径语义评分、结构置信度评分和重要程度评分进行求和,得到每个页面路径的综合优先级评分;依据评分结果对路径优先级进行动态排序,将高优先级的路径作为下一轮页面渲染的访问入口; 在页面渲染完毕后构建当前页面的本地DOM树,基于DOM树中各节点的标签层级、子节点数量和节点相对位置,生成DOM结构摘要信息;将当前DOM结构摘要信息与历史DOM结构摘要信息进行比对,并根据相似性匹配结果识别页面结构变化;若DOM结构摘要信息完全一致,则记录访问时间且不进行重复抓取;若DOM结构摘要信息在部分区域发生节点变更或样式层级调整,则上调路径优先级;若DOM结构摘要信息中新增了交互组件或者发生链接结构重排,则触发路径的再次递归调度;在识别出页面结构发生变化后,将DOM结构摘要信息、HTML内容、截图快照和页面元信息存入结构版本数据库中,用于页面结构演化过程的可视化分析与溯源; 重复上述步骤,直至满足任务终止条件。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京长亭科技有限公司,其通讯地址为:100101 北京市朝阳区天辰东路7号楼-2至8层101内北区6层602室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。