(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210597366.6 (22)申请日 2022.05.30 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 申请人 北京清华长 庚医院 (72)发明人 祝世杰　佘丰客　郑钢铁　潘勇卫　 赵喆　宋飞　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 7/70(2017.01) G06T 7/20(2017.01) G06K 7/14(2006.01) G06V 10/74(2022.01) (54)发明名称 目标跟踪方法、 系统及机 器人 (57)摘要 本发明公开了一种目标跟踪 方法、 机器人和 目标跟踪系统， 方法包括： 获取被跟踪目标表面 附着标志物的可见光图像和深度图像， 其中， 标 志物设有黑白相间的棋盘格图案， 且白色棋盘格 内部设有二维码； 对可见光图像进行二维码检 测， 得到标志物中的二维码角点2D坐标和二维码 ID； 根据深度图像、 二维码角点2D坐标和二维码 ID， 得到标志物中的棋盘格角点3D坐标； 根据棋 盘格角点3D坐标， 得到被跟踪目标在3D空间中的 位置信息， 在连续获得所述位置信息后， 通过机 器人的执行机构， 控制机器人跟随被跟踪目标运 动。 通过该目标跟踪方法， 在进行目标跟踪时标 志物无需侵入被跟踪目标， 安全性好， 且跟踪结 果精度高、 系统稳定可靠性 好。 权利要求书3页 说明书8页 附图7页 CN 115170646 A 2022.10.11 CN 115170646 A 1.一种目标跟踪方法， 其特 征在于， 所述方法包括： 获取被跟踪目标表面附着标志物的可见光图像和深度图像， 其中， 所述标志物设有黑 白相间的棋盘 格图案， 且白色棋盘 格内部设有二维码； 对所述可见光图像进行二维码检测， 得到所述标志物中的二维码角点2D坐标和二维码 ID； 根据所述深度图像、 所述二维码角点2D坐标和所述二维码ID， 得到所述标志物中的棋 盘格角点3D坐标； 根据所述棋盘格角点3D坐标， 得到所述被跟踪目标在3D空间中的位置信息， 其中， 所述 位置信息用于对所述被跟踪目标进行跟踪。 2.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述对所述可见光图像进行二维 码检测， 得到所述标志 物中的二维码角点2D坐标和二维码ID， 包括： 针对所述标志物的每一二维码模板， 利用所述二维码模板对所述可见光图像进行匹 配， 得到所述 二维码模板与所述可 见光图像中所有白色棋盘 格内二维码之间的相似度； 根据所述相似度判断是否检出与所述 二维码模板匹配的二维码； 如果检出， 则得到所检出二维码的二维码角点2D坐标和二维码ID。 3.根据权利要求1所述的目标跟踪方法， 其特征在于， 在根据所述深度图像、 所述二维 码角点2D坐标和所述二维码ID， 得到所述标志物中的棋盘格角点3D坐标之前， 所述方法还 包括： 根据所述二维码角点2D坐标和所述二维码ID得到所述标志物中二维码的实际位置分 布； 比较所述标志物图像中二维码的标准位置分布和所述实际位置分布， 对所述二维码角 点2D坐标和所述 二维码ID进行 校验； 针对校验异常的二维码角点2D坐标和二维码ID， 将其舍弃， 或者， 对其进行调整。 4.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述根据所述深度图像、 所述二 维码角点2D坐标和所述 二维码ID， 得到所述标志 物中的棋盘 格角点坐标， 包括： 根据所述二维码角点2D坐标和所述二维码ID， 得到所述可见光图像中的重点关注区 域， 其中， 每 个所述重点关注区域对应一个棋盘 格角点； 针对每个重点关注区域， 根据该重点关注区域和所述深度图像， 得到对应的棋盘格角 点3D坐标。 5.根据权利要求4所述的目标跟踪方法， 其特征在于， 所述根据 所述二维码角点2D坐标 和所述二维码ID， 得到所述可 见光图像中的重点关注区域， 包括： 根据所述 二维码ID进行棋盘 格角点检测； 针对检测到的每个棋盘格角点， 利用与其相邻两二维码的8个二维码角点2D坐标计算 标志物标准图像到所述可见光图像的单应性变换矩阵， 并根据所述单应性变换矩阵和所述 棋盘格角点在所述标志物标准图像中的预设区域， 得到所述棋盘格角点在所述可见光图像 中的重点关注区域， 其中， 所述预设区域为以所述棋盘格角点为中心， 邻近两二维码角点为 对角顶点的正方 形区域。 6.根据权利要求5所述的目标跟踪方法， 其特征在于， 根据 所述重点关注区域和所述深 度图像， 得到对应的棋盘 格角点3D坐标， 包括：权　利　要　求　书 1/3 页 2 CN 115170646 A 2通过下式计算所述重点关注区域内的每一个 像素的3D坐标： 其中， i∈(1, …,N)表示在所述重点关注区域内的N个像素， 表示第i个像 素的3D坐标， 表示第i个像素在所述深度图像中的2D坐标， 表示第i 个像素在所述可见光图像中的2D坐标， f根据所述深度图像和所述可见光图像对应的相 机 参数确定； 通过下式计算所述棋盘 格角点3D坐标： 其中， 表示所述棋盘 格角点3D坐标。 7.根据权利要求5所述的目标跟踪方法， 其特征在于， 根据 所述重点关注区域和所述深 度图像， 得到对应的棋盘 格角点3D坐标， 包括： 通过下式计算所述重点关注区域的4个区域角点3D坐标： 其中， i∈(1, …,4)表示所述重点关注区域的4个区域角点， 表示第i个区 域角点3D坐标， 表示第i个区域角点在所述深度图像中的2D坐标， 表示第i个区域角点在所述可见光图像中的2D坐标， f根据所述深度图像和所述可见光图像 对应的相机参数确定； 根据所述 4个区域角点3D坐标插值得到中心点 坐标： 拟合平面P :k·x+l·y+m·z＝0， 使得 下式成立： 根据 k,l,m和平面方程P得到所述棋盘 格角点3D坐标 8.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述标志物采用柔性平面基底， 可裁剪成任意形状。 9.一种机器人， 其特 征在于， 所述机器人包括： 可见光图像采集模块， 用于获取附着在被跟踪目标表面的标志物的可见光图像， 其中， 所述标志 物设有黑白相间的棋盘 格图案， 且白色棋盘 格内部设有二维码； 深度图像采集模块， 用于获取 所述标志 物的深度图像； 图像处理模块， 用于对所述可见光图像进行二维码检测， 得到所述标志物中的二维码 角点2D坐标和二 维码ID， 并根据所述深度图像、 所述二维码角点2D坐标和所述二 维码ID， 得 到所述标志物中的棋盘格角点3D坐标， 以及根据所述棋盘格角点3D坐标， 得到所述被跟踪 目标在3D空间中的位置信息， 其中， 所述 位置信息用于对所述被跟踪目标进行跟踪； 执行模块， 用于根据连续得到的所述被跟踪目标在3D空间中的位置信息， 生成机器人 的运动指令， 控制机器人在3D空间中跟随所述被跟踪目标运动。 10.一种目标跟踪系统， 其特 征在于， 所述系统包括：权　利　要　求　书 2/3 页 3 CN 115170646 A 3