Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:南京大学

摘要:一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法,逻辑上包括照片处理模块、图像理解模块、强化学习模块和机械臂控制模块。照片处理模块包括控制摄像头拍摄照片的清晰度,并使用一系列传统计算机视觉技术来进行图像增强、轮廓检测和屏幕截取。图像理解模块包括控件识别和页面布局识别,通过控件识别综合采用多种技术来识别屏幕中的UI控件,通过页面布局以别来结构化地组织UI控件,提供整体页面信息。强化学习模块包括Q‑Network神经网络模型等深度强化学习构件,根据图像理解信息自训练并生成指令指导机械臂进行自动化测试探索。机械臂控制模块通过RPC协议接受来自服务端的操作调度,通过逆运动学算法解析指令,转换并完成仿真测试操作。

主权项:1.一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法,其特征在于循环执行测试流程进行自动化测试探索,每个循环内,控制机械臂摄像头拍摄清晰的屏幕照片并发送给服务端,服务端深度解析并理解屏幕内容并使用深度强化学习模型生成指令进行测试探索,机械臂接收指令并执行测试操作。该方法的步骤如下:1机械臂和待测应用所在设备移动到初始位置,并开启机械臂远程调用服务2启动服务端,服务端远程调用控制机械臂点击默认初始位置,激活测试流程3机械臂摄像头拍摄清晰的屏幕照片返回给服务端4屏幕识别,服务端从拍摄的照片中识别并截取有效屏幕部分5控件和布局识别,服务端从屏幕截图中深度解析控件和页面布局信息6服务端的强化学习模型接收当前页面信息输入并做出决策,同时自动完成实时训练7服务端根据深度强化学习模型的决策生成操作指令,使用远程调用服务控制机械臂执行操作8机械臂接收指令,解析计算每个舵机需要的转动角度并仿真执行触屏测试操作9跳转至步骤c循环执行测试流程,直至满足测试停止条件。

全文数据:

权利要求:

百度查询: 南京大学 一种基于多轴机械臂物理仿真与强化学习的移动应用自动化测试的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。