(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210596099.0 (22)申请日 2022.05.30 (65)同一申请的已公布的文献号 申请公布号 CN 114693754 A (43)申请公布日 2022.07.01 (73)专利权人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 李树涛　胡茂青　孙斌　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 谭武艺 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/73(2017.01)G06V 10/74(2022.01) G06K 9/62(2022.01) 审查员 陈静 (54)发明名称 一种基于单目视觉惯导融合的无人机自主 定位方法与系统 (57)摘要 本发明公开了一种基于单目视觉惯导融合 的无人机自主定位方法与系统， 本发 明方法包括 针对无人机航拍得到的连续图像： 将相邻图像帧 进行帧‑帧配准， 再经对极 几何测姿、 三角测量获 得特征点的深度， 基于特征点的深度、 帧 ‑帧配准 后的图像帧中的二维坐标进行位姿解算得到相 对视觉位姿； 同时对连续图像提取关键帧， 与基 准图进行帧 ‑图匹配以获取特征点的绝对位置坐 标， 再与三角测量得到的深度进行位姿解算得到 绝对视觉位姿； 根据相对视觉位姿、 绝对视觉位 姿以及基于惯性测量单元IMU的检测数据得到的 惯导位姿联合优化得到无人机的绝对位姿。 本发 明能够在不依靠GPS的情况下， 实现无人机的高 精度、 长时间自主实时定位。 权利要求书2页 说明书8页 附图1页 CN 114693754 B 2022.08.19 CN 114693754 B 1.一种基于单目视 觉惯导融合的无 人机自主定位方法， 其特 征在于， 包括： S1、 针对无人机航拍得到的连续图像： 将连续 图像中的相邻图像帧进行帧 ‑帧配准， 再 依次经过对极几何测姿、 三角测量 获得图像帧中特征点的深度， 基于特征点的深度、 特征点 帧‑帧配准后的图像 帧中的二维坐标进行位姿解算得到相对视觉位姿； 同时对所述连续图 像提取关键 帧， 分别将关键帧与预设的基准图进行帧 ‑图匹配以获取关键 帧上特征点的绝 对位置坐标， 根据关键帧上特征点的绝对位置坐标， 以及特征点经过三角测 量得到的深度 进行位姿解 算得到绝对视 觉位姿； 根据惯性测量单 元IMU的检测数据获取惯导 位姿； S2、 根据相对视觉位姿、 绝对视觉位姿以及惯导位姿联合优化， 得到无人机的绝对位 姿。 2.根据权利要求1所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 步骤S1中将关键帧与预设的基准图进行帧 ‑图匹配时， 计算关键帧与预设的基准图之间的 相似性值作为匹配度， 以获取关键帧上特征点在匹配度最高的基准图上对应位置像素点的 绝对位置坐标作为该特征点的绝对位置坐标， 且计算关键帧与预设的基准图之 间的相似性 值作为匹配度的函数表达式为： ， 上式中，NCC为相似性值， ti表示关键 帧中像素点 i的灰度值， wi表示基准图的候选窗口 中像素点 i的灰度值， 表示关键帧所有 像素的灰度平均值， 表示基准图的候选窗口中所 有像素的灰度平均值。 3.根据权利要求2所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 所述匹配度的函数表达式 中， 的计算函数表达式为： ， 上式中，F‑1表示逆快速傅里叶变换函数， F(t)表示对关键帧 t的快速傅里叶变换， F*(t) 表示对基准图的候选窗口 w复共轭的快速傅里叶变换以实现灰度特 征的反转。 4.根据权利要求2所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 所述匹配度的函数表达式 中， 和 的计算函数表达式为： ， ， 上式中， ( u1,u2)为基准图的候选窗口 w的横坐标区间， ( v1,v2)为基准图的候选窗口 w的 纵坐标区间， S表示基准图中对应区域和的积分图， S2表示基准图中对应区域平方和的积分 图。 5.根据权利要求2所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 所述匹配度的函数表达式 中， 和 的计算函数表达式为：权　利　要　求　书 1/2 页 2 CN 114693754 B 2， ， 上式中， ( u1,u2)为关键帧的候选窗口 w的横坐标区间， ( v1,v2)为关键帧的候选窗口 w的 纵坐标区间， S表示关键帧中对应区域和的积分图， S2表示关键帧中对应区域平方和的积分 图。 6.根据权利要求1所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 步骤S1中将关键帧与预设的基准图进 行帧‑图匹配之前， 还包括对关键帧进 行校正， 以使关 键帧与基准图之间只存在平移； 所述对关键 帧进行校正包括方向校正和尺度校正， 所述方 向校正是指在已知无人机的飞行方向和基准图的拍摄方向的前提下， 将连续图像的朝向转 到基准图的方向， 使得连续图像和基准图两者之间的朝向一致； 所述尺度校正是指根据已 知的飞行高度 h、 相机分辨率 w以及相机视场角 r， 根据f = (h * tan(r/2))/w求得连续图像 的地面分辨率 f， 然后根据基准图的地面分辨率和连续图像的地面分辨率 f的比值对连续图 像进行缩放， 使得 连续图像和基准图两者之间的分辨 率一致。 7.根据权利要求1所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 所述进行位姿解算是指首先采用PNP算法进行位姿解算， 然后采用局部捆集调整算法BA优 化PNP算法解 算得到的位姿。 8.根据权利要求7所述的基于单目视觉惯导融合的无人机自主定位方法， 其特征在于， 步骤S2中根据相对视觉位姿、 绝对视觉位姿以及惯导位姿联合优化具体是指采用基于滑动 窗口的紧耦合单目V IO算法实现对相对视觉位姿、 绝对视觉位姿以及惯导位姿联合优化， 得 到无人机的绝对位姿。 9.一种基于单目视觉惯导融合的无人机自主定位系统， 包括相互连接的微处理器和存 储器， 其特征在于， 该微处理器被编程或配置以执行权利要求1～8 中任意一项所述基于单 目视觉惯导融合的无 人机自主定位方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质中存储有计算机程序， 其特征 在于， 该计算机程序用于被微处理器编程或配置以执行权利要求 1～8中任意一项 所述基于 单目视觉惯导融合的无 人机自主定位方法的步骤。权　利　要　求　书 2/2 页 3 CN 114693754 B 3