买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国建设银行股份有限公司

摘要：本发明实施例涉及人工智能技术领域，公开了一种机器人流程自动化界面元素定位方法、装置和存储介质，通过将目标元素确定为各控件树中，包含当前鼠标坐标的元素中控件面积最小的元素，使得不管界面采用何种已知的界面绘制技术绘制，本实施例的方法都可以自动识别到包含当前鼠标坐标的元素，而不会出现无法抓取到目标元素的情况。通过按照对各界面交互技术通用的设定描述方式描述目标元素得到目标元素的描述字符串，使得定位目标元素时，可以根据目标元素所属控件树对应的界面交互技术的标签确定目标元素所属控件树对应的界面交互技术，进行目标元素的定位时，可以根据该描述路径中的元素属性的属性值来快速定位到目标元素。

主权项：1.一种机器人流程自动化界面元素定位方法，其特征在于，包括：根据至少两个控件树确定目标元素，其中，所述目标元素为各所述控件树中，包含当前鼠标坐标的元素中控件面积最小的元素；按照设定描述方式描述所述目标元素得到所述目标元素的描述字符串，其中所述描述字符串包括所述目标元素所属控件树对应的界面交互技术的标签和所述目标元素所属的所述控件树的树根到所述目标元素的描述路径；根据所述目标元素的描述字符串定位所述目标元素；其中，所述根据至少两个控件树确定目标元素，包括：获取当前鼠标位置对应的当前鼠标坐标；对每一所述控件树，从所述控件树根开始逐层搜索所述控件树的每一层，确定所述控件树中包含所述当前鼠标坐标的最底层元素；将各所述控件树中，包含所述当前鼠标坐标的最底层元素中控件面积最小的元素确定为所述目标元素；其中，所述对每一所述控件树，从所述控件树根开始逐层搜索所述控件树的每一层，确定所述控件树中包含所述当前鼠标坐标的最底层元素，包括：对每一所述控件树，将所述控件树的第一层加入第一待搜索列表，并记录待选元素为空；遍历所述第一待搜索列表，获取包含所述当前鼠标坐标的控件，并在获取到包含所述当前鼠标坐标的控件后，将包含所述当前鼠标坐标的控件设定为所述待选元素；清空所述第一待搜索列表；在所述待选元素中包含子元素时，将所述待选元素的子元素加入所述第一待搜索列表，并跳转至所述遍历所述第一待搜索列表，获取包含所述当前鼠标坐标的控件，并在获取到包含所述当前鼠标坐标的控件后，将包含所述当前鼠标坐标的控件设定为所述待选元素的步骤；在所述待选元素中不包含子元素时，将所述待选元素确定为包含所述当前鼠标坐标的最底层元素并结束查找。

全文数据：

权利要求：

百度查询： 中国建设银行股份有限公司 机器人流程自动化界面元素定位方法、装置和存储介质