(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210081823.6 (22)申请日 2022.01.24 (71)申请人 京北方信息技 术股份有限公司 地址 100089 北京市海淀区西三环北路25 号青政大厦7层 (72)发明人 陈宏伟　饶玉田　 (74)专利代理 机构 北京品源专利代理有限公司 11332 代理人 李礼 (51)Int.Cl. G06F 3/0481(2022.01) G06F 3/0484(2022.01) G06F 9/451(2018.01) (54)发明名称 一种界面元素探测识别方法、 装置、 存储介 质及电子设备 (57)摘要 本申请实施例公开了一种界面元素探测识 别方法、 装置、 存储介质及电子设备。 该方法包 括： 在监视窗口消息的钩子打开的情况下， 获取 与鼠标移动位置相关联的元素应用类型； 其中， 所述元素应用类型包括Win32桌面程序、 IE浏览 器、 webkit内核浏览器和java桌面程序； 确定与 所述元素应用类型相匹配的元素识别算法信息； 根据所述元素识别算法信息， 对鼠标移动位置的 元素对象进行识别， 得到目标元素对象； 其中， 所 述元素对象包括基本属性信息、 隶属对象信息、 基本操作信息以及对象转选择串信息。 本技术方 案， 可以根据元素应用类型自动识别元素对象， 可以有效的屏蔽各种应用场景中的技术复杂 度， 提高了元 素的识别精度， 减少了资源的浪费。 权利要求书2页 说明书12页 附图6页 CN 114428575 A 2022.05.03 CN 114428575 A 1.一种界面元 素探测识别方法， 其特 征在于， 包括： 在监视窗口消息的钩子打开的情况下， 获取与鼠标移动位置相关联的元素应用类型； 其中， 所述元素应用类型包括Win32桌面程序、 IE浏览器、 web kit内核浏览器和java桌面程 序； 确定与所述元 素应用类型相匹配的元 素识别算法信息； 根据所述元素识别算法信息， 对鼠标移动位置的元素对象进行识别， 得到目标元素对 象； 其中， 所述元素对 象包括基本属 性信息、 隶属对 象信息、 基本操作信息以及对 象转选择 串信息。 2.根据权利要求1所述的方法， 其特征在于， 获取与鼠标移动 位置相关联的元素应用类 型， 包括： 通过预先确定的识别层接口对象获取 元素探测器； 基于所述元 素探测器， 确定与鼠标移动位置相关联的元 素应用类型。 3.根据权利要求1所述的方法， 其特征在于， 确定与所述元素应用类型相匹配的元素识 别算法信息， 包括： 从预先确定的候选元素识别算法信 息中进行查找， 确定与所述元素应用类型相匹配的 元素识别算法信息； 其中， 所述候选元素识别算法信息包括Win32 桌面程序元素识别算法信 息、 IE浏览器元素识别算法信息、 webkit内核浏览器元素识别算法信息和Java桌面程序元 素识别算法信息 。 4.根据权利要求1所述的方法， 其特征在于， 根据所述元素识别算法信息， 对鼠标移动 位置的元 素对象进行识别， 得到目标 元素对象， 包括： 根据所述元素识别算法信 息， 调用目标接口对鼠标移动位置进行识别， 得到元素对象； 其中， 所述目标接口包括应用程序与钩子接口、 网页浏览与 钩子接口、 浏览器扩展与钩子接 口以及访问桥接器与钩子 接口； 对所述元 素对象进行字符串转换， 得到目标 元素对象。 5.根据权利要求4所述的方法， 其特征在于， 在根据所述元素识别算法信息， 调用目标 接口对鼠标移动位置进行识别， 得到元 素对象之后， 所述方法还 包括： 根据所述元 素对象， 确定 子元素集合； 判断鼠标移动位置是否处于 子元素集合构成的四边形内； 若处于， 则计算子元 素集合中元素的面积， 得到目标面积； 根据所述目标面积， 对所述鼠标移动位置的元 素对象进行 标记。 6.根据权利要求5所述的方法， 其特征在于， 判断鼠标移动 位置是否处于子元素集合构 成的四边形内， 包括： 判断鼠标移动位置与四边形的每条边组成的三角形面积之和是否等于四边形面积； 或， 判断鼠标移动位置与四边形的每条边的夹角之和是否等于四边形角度； 或， 判断鼠标移 动位置与四边形的交点是否满足预设数量条件。 7.根据权利要求1所述的方法， 其特征在于， 在根据所述元素识别算法信息， 对鼠标移 动位置的元 素对象进行识别， 得到目标 元素对象之后， 所述方法还 包括： 根据所述元 素识别算法信息的调用接口， 对目标 元素对象进行解析， 得到目标 元素； 响应于输入操作， 对所述目标 元素进行修改， 得到修改后的目标 元素。权　利　要　求　书 1/2 页 2 CN 114428575 A 28.一种界面元 素探测识别装置， 其特 征在于， 包括： 元素应用类型获取模块， 用于在监视窗口消息的钩子打开的情况下， 获取与鼠标移动 位置相关联的元素应用类型； 其中， 所述元素应用类型包括Win32桌面程序、 IE浏览器、 webkit内核浏览器和java桌 面程序； 元素识别算法信 息确定模块， 用于确定与 所述元素应用类型相匹配的元素识别算法信 息； 目标元素对象得到模块， 用于根据所述元素识别算法信息， 对鼠标移动位置的元素对 象进行识别， 得到目标元素对象； 其中， 所述元素对象包括基本属性信息、 隶属对象信息、 基 本操作信息以及对象转选择串信息 。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项所述的界面元 素探测识别方法。 10.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器运行的计算机 程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑7中任一项 所述的 界面元素探测识别方法。权　利　要　求　书 2/2 页 3 CN 114428575 A 3