龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江大学
摘要：本发明公开了一种基于图像分析的页面控件异步遍历方法，首先进入页面，移动到第一个控件，每次移动到下一个控件，获取页面的截图，然后生成两个异步任务，其一是通过计算机视觉算法获取控件的坐标，其二是通过OCR算法识别字幕获取控件的替代文本内容，将这两个任务提交给线程池执行后，继续移动到下一个控件；每次移动特定次数后，都判断页面控件是否遍历完毕，如果仍未完毕就继续遍历，否则结束遍历。本发明提供了一种异步的、快速的页面控件遍历方法，可作为移动应用测试和数据分析挖掘的上游服务，爬取移动应用的页面控件信息，供后续任务使用。
主权项：1.一种基于图像分析的页面控件异步遍历方法，其特征在于，包括以下步骤：S1：进入页面，移动到第一个控件；S2：获得目前页面的截图；通过usb连接手机和上位机，利用投屏软件将手机画面投射于上位机桌面，然后获取投屏软件的窗口，截取窗口内的手机画面；S3：生成异步任务，提交给线程池执行；S31：一个任务是根据截图，通过计算机视觉算法计算出当前页面控件的坐标；S32：另一个任务是根据当前页面的字幕，通过OCR算法计算出当前控件的替代文本内容；S33：将这两个任务提交给线程池异步执行；S4：若移动次数未达到设定的一轮次数且未达到设定的总移动次数，移动到下一个控件，跳转到步骤S2继续执行；移动到下一个控件的方法为：蓝牙连接手机和上位机，模拟键盘操作，发送无障碍辅助程序的“移到下一个项目”指令；S5：若移动次数达到设定的一轮次数，判断页面是否遍历结束；S51：等待线程池中的异步任务全部完成；S52：步骤S51的任务全部完成后，根据所有任务包含的控件信息，顺序生成页面控件；S53：根据步骤S32生成的控件的替代文本内容，若页面末尾控件的替代文本内容连续相同个数达到设定的最大个数，或者循环相同，就认为页面遍历结束，否则遍历未结束；S6：若步骤S5判断页面未遍历结束，则移动到下一个控件，跳转到步骤S2继续执行；S7：若步骤S5判断页面遍历结束或者移动次数达到设定的总移动次数，则页面控件遍历结束。
全文数据：
权利要求：
百度查询： 浙江大学 一种基于图像分析的页面控件异步遍历方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号