买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州职业技术学院申请的专利一种基于视觉语言大模型智能体的应用程序自动控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120215768B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510720016.8，技术领域涉及：G06F3/0481；该发明授权一种基于视觉语言大模型智能体的应用程序自动控制方法是由周晓燕;李昕设计研发完成，并于2025-05-30向国家知识产权局提交的专利申请。

本一种基于视觉语言大模型智能体的应用程序自动控制方法在说明书摘要公布了：本发明涉及一种基于视觉语言大模型智能体的应用程序自动控制方法，属于信息技术领域。该方法利用多个视觉语言大模型智能体VLMAgent协同调度的方式共同完成用户自动控制任务，并采用即时策略规划为主、全局策略规划为辅的智能体决策方法，旨在克服全局策略规划的缺陷，提高方法的泛化能力与通用性。为了挖掘VLMAgent在解决应用程序自动控制问题的潜力，本发明采用通用规则元素提取的方式，取代主流的GUI‑Grounding方法，来尽可能提高UI控件识别准确率。此外，本发明还利用图像拼接技术，对VLMAgent在执行自动控制任务时产生的多模态消息进行拼接，减少多轮长对话种图像信息在提示词中的占比，提高方法运行速度，缓解共享历史上下文过长问题。

本发明授权一种基于视觉语言大模型智能体的应用程序自动控制方法在权利要求书中公布了：1.一种基于视觉语言大模型智能体的应用程序自动控制方法，其特征在于，方法的框架设计了三种不同角色的视觉语言大模型智能体VLMAgent，分别为应用程序智能体ApplicationAgent、用户接口智能体UIAgent以及用户任务检查智能体CheckAgent； 在用户输入任务描述提示词或者语音后，应用程序智能体ApplicationAgent首先负责解析用户输入，并将用户操作任务拆分成一系列可执行的用户接口UI控件操作，即全局策略规划； 之后，应用程序智能体ApplicationAgent再根据全局策略规划中提取的应用程序具体名称从环境变量或者配置文件中获取对应的窗口句柄，即启动指定应用程序，并将VLM执行主导权传递给用户接口智能体UIAgent；用户接口智能体UIAgent利用设计的用户接口工具集UITools对当前应用窗口的GUI界面进行截图，并结合外部图形用户接口定位GUI-Grounding方法识别当前GUI界面中出现的所有可操作的UI操作控件；用户接口智能体UIAgent在对GUI界面进行UI控件识别后将对所有被识别出的UI控件标注检测框以及唯一控件标识号ID，利用VLM对图像标注敏感的视觉感知特性；同时用户接口智能体UIAgent根据全局策略规划以及标注检测框之后的GUI界面截图给出即时策略规划，选择当前步需要操作的UI控件，并修正全局策略规划； 最后，用户任务检查智能体CheckAgent将根据操作指定UI控件后的GUI界面截图判断用户当前任务是否已完成，若未完成，则将VLM执行主导权继续交由用户接口智能体UIAgent进行下一步UI控件操作；若完成，则应用程序智能体ApplicationAgent输出终止符，结束本次自动控制任务，并通知用户； 当一次UI控件交互操作完成时，设计了检验任务完成的视觉语言大模型工具VLMTool，视觉语言大模型智能体VLMAgent将利用该Tool对指定应用程序指定GUI界面进行截图，并将GUI界面截图以及总体任务描述封装为多模态消息，让视觉语言大模型智能体VLMAgent判断任务是否完成，若未完成则重新对应用程序UI进行识别并进行下一步交互操作，同时修正全局策略规划，并向视觉语言大模型团队VLMTeam给出下一步即时策略规划，如式4所示： （4）； 其中全局策略规划与即时策略规划均被封装为多模态消息，表示VLM更新修正全局策略规划与即时策略规划的过程；更新完毕后，视觉语言大模型智能体VLMAgent再向记忆Memory组件存储策略信息；为所使用的VLM模型，为参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州职业技术学院，其通讯地址为：350108 福建省福州市闽侯县福州大学城联榕路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。