(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210572561.3 (22)申请日 2022.05.25 (71)申请人 中建八局第二建 设有限公司 地址 250014 山东省济南市历下区文化 东 路16号中建大厦18层 申请人 西安建筑科技大 学 (72)发明人 殷利建　麻瑞　刘庆喜　殷利庆　 马宗方　张国飞　孙士齐　李志文　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜明 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/50(2017.01) G06T 7/80(2017.01)G06T 5/00(2006.01) G06V 10/74(2022.01) (54)发明名称 一种基于双轴云台机器人与双目视觉的高 精度火源空间定位方法 (57)摘要 本发明公开了一种基于双轴云台机器人与 双目视觉的高精度火源空间定位方法， S1、 获取 机器人上的双目相机在不同状态下对火源的多 组拍摄图像； S2、 对每组拍摄图像均进行双目视 觉定位， 计算每组拍摄图像中的火源的三维信 息， 火源的三维信息包括平面位置信息和深度信 息； S3、 根据所计算的多组火源的三维信息， 取多 组平面位置信息的中心作为火源的最终平面位 置信息， 取多组深度信息的均值作为火源的最终 深度信息。 本发明所提出的方法， 火源定位精度 高， 时间成本低， 能够在复杂环境中实现以非接 触式的方式定位火源。 权利要求书2页 说明书5页 附图2页 CN 114913161 A 2022.08.16 CN 114913161 A 1.一种基于双轴云台机器人与双目视觉的高精度火源空间定位方法， 其特征在于： 包 括如下步骤： S1、 获取机器人 上的双目相机在不同状态下对火源的多组拍摄图像； S2、 对每组拍摄图像均进行双目视觉定位， 计算每组拍摄图像 中的火源的三维信息， 火 源的三维信息包括平面 位置信息和深度信息； S3、 根据所计算的多组火源的三维信息， 取多组平面位置信息的中心作为火源的最终 平面位置信息， 取多组深度信息的均值作为火源的最终深度信息 。 2.根据权利要求1所述的方法， 其特征在于： 步骤S1中， 通过调整双轴云台机器人的平 面转动云台和仰角云台来调整双目相机的状态， 并在每种状态下完成对火源的双目拍摄。 3.根据权利要求1所述的方法， 其特征在于： 在步骤S1之前， 当双轴云台机器人监测到 火源时， 向火源移动， 当在一帧图像中被 分割的火源目标所占像素大于50个时停止移动， 并 在步骤S1对火源拍摄的过程中， 双轴云台机器人的位置不再发生变化。 4.根据权利要求1所述的方法， 其特征在于： 在步骤S1之前， 还需要通过张正友标定法 对双目相机进 行相机标定， 获取相机的相机参数， 所述相机参数包括内部参数和外部参数， 所述内部参数包括焦距、 图像中心和畸变系数， 所述外 部参数包括旋转矩阵和平 移矩阵。 5.根据权利要求4所述的方法， 其特征在于： 所述双目相机的相机标定的过程包括如下 步骤： S211、 左目相机标定， 获取左目相机的相机参数； S212、 右目相机标定， 获取右目相机的相机参数； S2013、 双目标定， 获取左目相机和右目相机之间的平 移旋转关系。 6.根据权利要求4所述的方法， 其特征在于： 步骤S2中， 对每组拍摄 图像进行双目视觉 定位的过程包括： S21、 双目校正； S22、 双目视 觉匹配； S23、 计算视 差图； S24、 计算深度信息 。 7.根据权利要求6所述的方法， 其特征在于： 步骤S21中， 采用极线矫正法对左目图像和 右目图像进行畸变校正。 8.根据权利要求7所述的方法， 其特征在于： 步骤S22中， 在进行双目视觉匹配时采用归 一化互相关匹配算法进行左目 图像和右目 图像的匹配， 设定校正后的左目 图像和右目 图像 分别为IL、 IR， 归一化互相关匹配算法对图像IL中其中一个待匹配像素构建一个n*n的匹配 窗口， 在图像IR极线上对每一个像素构建匹配窗口与待匹配像素匹配窗口计算相关性， 相 关性最高的视为 最优匹配， 计算相关性的计算公式如下： 其中： u1、 u2分别为图像IL、 IR匹配窗口 的像素均值； 归一化互相关匹配算法的匹配流程是通过在同一行中查找最优匹配， 多行像素之间并 行处理。权　利　要　求　书 1/2 页 2 CN 114913161 A 29.根据权利要求8所述的方法， 其特征在于： 步骤S23中， 所述计算视差图的过程为将左 目图像中的待测像素水平坐标与右目 图像中的匹配像素水平坐标之 间计算差值， 然后统筹 每个匹配像素的视 差得到视差图。 10.根据权利要求9所述的方法， 其特征在于： 步骤S24中， 通过将上述步骤中分别得到 的焦距、 极线和视差图数据， 利用三角计算得到火源在世界坐标系中的深度信息， 该深度信 息即为火源距离双轴云台机器人的距离信息 。权　利　要　求　书 2/2 页 3 CN 114913161 A 3