龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：阿里巴巴(中国)有限公司
摘要：本申请实施例提供了一种界面操控方法、计算机程序产品及电子设备，其中，界面操控方法包括：获取基于用户界面中的控件来执行任务的任务描述信息；根据任务描述信息，对目标应用的用户界面进行截图，并获得目标应用的用户界面中的交互控件信息；根据任务描述信息、截图和交互控件信息，生成提示信息，以通过视觉语言模型基于提示信息，生成任务执行指令；任务执行指令用于执行任务描述信息所指示的任务；根据所述任务执行指令，对所述目标应用的用户界面进行操控，以根据操控结果完成所述任务描述信息对应的任务。通过本申请实施例，降低了界面操控的人工参与度，实现了界面操控的高度智能化。
主权项：1.一种界面操控方法，包括：获取基于用户界面中的控件来执行任务的任务描述信息；根据所述任务描述信息，对目标应用的用户界面进行截图，并获得目标应用的用户界面中的交互控件信息；根据所述任务描述信息、所述截图和所述交互控件信息，生成提示信息，以通过视觉语言模型基于所述提示信息，生成任务执行指令；所述任务执行指令用于执行所述任务描述信息所指示的任务。根据所述任务执行指令，对所述目标应用的用户界面中的交互控件进行操控，以根据操控结果完成所述任务描述信息对应的任务。
全文数据：
权利要求：
百度查询： 阿里巴巴(中国)有限公司 界面操控方法、计算机程序产品及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号