(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210669659.0 (22)申请日 2022.06.14 (71)申请人 广东天太 机器人有限公司 地址 528322 广东省佛山市顺德区大良10 5 国道大墩段 （5-1号地块） 六号综合楼 三层 （广珠公路红岗路段23号之9） (72)发明人 何志雄　柳建雄　王鹏　 (74)专利代理 机构 佛山市禾才知识产权代理有 限公司 4 4379 专利代理师 刘羽波　陈嘉琦 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/75(2022.01) G06T 7/13(2017.01) G06V 10/28(2022.01)G06F 16/901(2019.01) (54)发明名称 一种基于特征点识别的系统及抓取方法 (57)摘要 本发明公开了一种基于特征点识别的系统 及抓取方法， 抓取系统包括： 采集端； 识别端， 用 于存储多个角度模板， 同时接受采集的图像， 将 采集的图像与多个角度模板逐一进行识别匹配， 判断采集的图像是否为目标对象， 若是， 选择与 采集的图像相匹配的角度模板作为识别模板， 从 图像中获取目标对象的实际特征点 以及从识别 模板中获取识别特征点， 通过比对目标对象 的实 际特征点和识别模板的识别特征点； 多个机械 臂； 本发明旨在提供一种基于特征点识别的系统 及抓取方法， 使识别模板的识别特征点靠近于实 际特征点， 通过识别模板的识别特征生成的机械 臂的移动轨迹和抓取点的控制指令也能够符合 实际特征点的位置， 能够提高机械臂的抓取精确 度。 权利要求书4页 说明书13页 CN 115049860 A 2022.09.13 CN 115049860 A 1.一种基于特 征点识别的抓取系统， 其特 征在于， 包括： 采集端， 用于采集物体的图像， 并将采集的图像发送至识别端； 识别端， 用于存储多个角度模板， 同时接受采集的图像， 将采集的图像与多个角度模板 逐一进行识别匹配， 判断采集的图像是否为目标对象， 若是， 选择与采集的图像相匹配的角 度模板作为识别模板， 从图像中获取目标对象的实际特征点以及从识别模板中获取识别特 征点， 通过比对目标对 象的实际特征点和识别模板的识别特征点， 根据比对结果对识别模 板进行修正优化， 获得最优的识别模板； 根据最优的识别模板生成机械臂的移动轨迹和抓 取点的控制指令， 并将控制指令发送至 机械臂； 多个机械臂， 每个机械臂包括控制端和抓取工具， 每个抓取工具均不相同， 控制端用于 存储抓取工具抓取点的工具模板， 同时接 收并解析来自识别端的控制指令， 根据解析结果 判断当前 的工具模板与最优的识别模板吻合程度； 若吻合程度大于预设范围， 则选取当前 的工具模板的机械臂作为输出端， 驱动当前 的机械臂进行轨迹移动和抓取； 若吻合程度小 于预设范围， 则更换下一个控制端直至下一个控制端中的工具模板与最优的识别模板吻合 程度大于预设范围。 2.根据权利要求1所述的一种基于特征点识别的抓取系统， 其特征在于， 所述识别端包 括： 模板库模块， 用于存储角度模板信 息， 所述角度模板信 息包括多个角度的模板图； 所述 角度模板信息包括360/n个模板图， n＝1， 2， 3， …， n， n为小于360且能被360整除的正整数； 所述模板图对应物品的不同摆放角度； 识别处理模块， 使用One ‑Stage算法对图像信息进行识别框体提取， 将采集的图像以框 体的方式展现； 同时对框体内的目标对象进行匹配识别， 判断当前的图像中是否存在有目标对象， 若 存在有目标对 象， 则将目标对 象所在的框体与模板库模块中的模板图进行匹配， 若匹配结 果相符， 则将当前的框体内的目标对象的特 征信息存 储至存储模块； 存储模块， 用于存 储采集的图像中目标对象的特 征信息。 3.根据权利要求2所述的一种基于特征点识别的抓取系统， 其特征在于， 所述识别处理 模块还包括： 梯度量化子模块， 用于对采集的图像进行第 一层金字塔方向梯度量化以及第 二层金字 塔方向梯度量 化， 获得采集的图像对应的识别特 征； 提取子模块， 用于以当前角度为表列获取识别特 征， 并保存至所述存 储模块。 4.根据权利要求1所述的一种基于特征点识别的抓取系统， 其特征在于， 所述识别端还 包括： 修正优化模块， 用于以亚像素点的方式从采集的图像中提取目标对象的目标边框； 根 据预设比例将目标边框的识别特征以及其余的识别特征组合成实际特征点， 以实际特征点 为基础获得与实际特征点相对的识别特征点； 计算获得相对应的实际特征点与 识别特征点 之间的距离， 将相对应的实际特征点与识别特征点之间的距离与预设距离值进行比对， 若 相对应的实际特征点与 识别特征点之 间的距离大于预设距离值， 获取符合距离要求的实际 特征点的数量， 并将实际特征点的数量与预设数量值比对， 若实际特征点的数量大于预设 数量值， 将实际特征点和识别特征点代入变化矩阵， 对识别模板进 行位姿修正优化， 获得最权　利　要　求　书 1/4 页 2 CN 115049860 A 2优的识别模板 。 5.根据权利要求4所述的一种基于特征点识别的抓取系统， 其特征在于， 所述修正优化 模块包括： 目标边框获取子模块， 通过边缘检测算子收集采集的图像中目标对象的边缘点集， 对 边缘点集的边缘点进行运算处理， 获得边缘点所对应的亚像素点和边缘点的方向矢量， 对 边缘点集的各个边缘点进行运算处理， 获得相 应的亚像素点集和方向矢量点集， 即目标边 框， 将目标边框发送至关联子模块； 关联子模块， 用于按照比例将目标边框上的识别特征以及其余识别特征组合成实际识 别点， 根据实际特征点找出识别模板上 的与实际特征点所对应的识别特征点； 关联子模块 获取所有实际特征点和对应的识别特征点之间的距离， 判断所有实际特征点和对应的识别 特征点之间的距离是否大于预设距离值， 若满足， 则获取满足大于预设距离值的所有实际 特征点的数量， 并判断所有实际特征点的数量是否满足预设数量值， 若满足， 则发出修正指 令至修正子模块； 修正子模块， 用于接收和解析修正指令， 将 实际特征点和识别特征点代入变化矩阵， 对 识别模板进行位姿修 正优化， 获得最优的识别模板 。 6.一种基于特征点识别的抓取方法， 应用于权利要求1至5任意一项所述的一种基于特 征点识别的抓取系统， 其特 征在于， 包括以下步骤： 采集图像： 采集输送的物体的图像， 并将采集的图像发送至识别端； 识别物品并优化模板： 将采集的图像与多个角度模板逐一进行识别匹配， 判断采集的 图像是否为目标对象， 若 是， 选择与采集的图像相匹配的角度模板作为识别模板， 从图像中 获取目标对象的实际特征点以及从识别模板中获取识别特征点， 通过比对目标对象的实际 特征点和识别模板的识别特征点， 根据比对结果对识别模板进行修正优化， 获得最优的识 别模板； 生成控制指令： 根据最优的识别模板生成机械臂 的移动轨迹和抓取点的控制指令， 并 将控制指令发送至 机械臂； 接收控制 指令并抓取物品： 将控制 指令中所对应的最优的识别模板与抓取工具对应的 工具模板进行比对， 判断当前 的工具模板与最优的识别模板吻合程度； 若吻合程度大于预 设范围， 则选取当前 的工具模板的机械臂作为输出端， 驱动当前 的机械臂进行轨迹移动和 抓取； 若吻合程度小于预设范围， 则更换下一个控制端直至下一个控制端中的工具模板与 最优的识别模板吻合 程度大于预设范围。 7.根据权利要求6所述的一种基于特征点识别的抓取方法， 其特征在于， 在所述识别物 品并优化模板的步骤中， 包括存储角度模板信息， 所述角度模板信息包括多个角度的模板 图； 所述角度模板信息包括360/n个模板图， n＝1， 2， 3， …， n， n为小于360且能被360整除的 正整数； 所述模板图对应物品的不同摆放角度； 使用One‑Stage算法对图像信息进行识别框体提取， 将采集的图像以框体的方式展现； 同时对框体内的目标对 象进行匹配识别， 判断当前 的图像中是否存在有目标对 象， 若存在 有目标对象， 则将目标对象所在的框体与模板图进 行匹配， 若匹配结果相符， 则将当前的框 体内的目标对象的特 征信息进行存 储。 8.根据权利要求7所述的一种基于特征点识别的抓取方法， 其特征在于， 在所述识别物权　利　要　求　书 2/4 页 3 CN 115049860 A 3