买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多模态视觉检索的智能RPA交互方法、装置及系统，该方法包括：构建图形用户界面GUI、网络应用程序和嵌入式应用程序；打开目标网页或者目标界面，获取当前页面的状态，捕获整个应用程序窗口或特定的区域；进行图像处理分析和定位GUI中的元素，获取对应元素的定位坐标信息；利用坐标信息，执行JavaScript模板代码；根据上述GUI上的操作效果，保存这一环节的RPA交互模板，添加监控报警环节，对整个RPA任务的状态进行监控，引入异常检测机制；重复前述步骤逐渐完善模板，直至RPA流程制作完成。其可以通过不同模态的交互方式轻松制作RPA流程，实现了与业务系统的自动化交互，提高工作效率。

主权项：1.基于多模态视觉检索的智能RPA交互方法，其特征在于，包括步骤：S1、利用Qt5构建图形用户界面GUI、网络应用程序和嵌入式应用程序；S2、打开目标网页，并执行各种操作，通过Qt全屏截图，获取当前页面的状态，捕获整个应用程序窗口或特定的区域，作为图像输入；定位网页元素的语言描述作为文字输入；S3、通过视觉语言定位模块Qwen-VL的模型进行图像处理分析和定位GUI中的元素，获取对应元素的定位坐标信息；S4、利用所述定位坐标信息，执行JavaScript模板代码，以模拟用户在GUI上的操作；S5、根据上述图形用户界面GUI上的操作效果，保存这一环节的RPA交互模板，添加监控报警环节，对整个RPA任务的状态进行监控，引入异常检测机制；如果系统检测到页面元素未找到、操作超时的异常情况，系统可以自动发出警报通知相关人员；S6、重复步骤S1-S5逐渐完善模板，直至RPA流程制作完成；其中，所述步骤S3包括：S31、获取图像输入、语音输入和文字输入；S32、对所述图像输入进行图像特征编码，获得图像特征；S33、将所述语音输入转换为文字信息，与所述文字输入构成文本信息，对所述文本信息进行文本特征编码，获得文本特征；S34、将图像特征和文本特征进行融合，得到判别性特征，将判别性特征映射到边框坐标的预测空间；进行归一化，将坐标值映射到预设范围，定位具体元素的位置信息，将相对坐标转换为绝对坐标，获得元素的定位坐标信息；其中，步骤S33中将所述语音输入转换为文字信息包括：S331、用户输入语音，调用通用语音识别Whisper模型；S332、输入音频被语音信号按照t秒一段进行分割，每一段被转换成log-Mel频谱图；S333、从语音信号中提取特征梅尔频率倒谱系数，提取语音特征，进行后处理和解码预测相应的文本，并添加相应标记，转换为最终的文本序列；S334、输出音频的文字信息。

全文数据：

权利要求：

百度查询： 深圳市客一客信息科技有限公司 基于多模态视觉检索的智能RPA交互方法、装置及系统