(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210816054.X (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114882254 A (43)申请公布日 2022.08.09 (73)专利权人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 程向红　李丹若　曹毅　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 许小莉 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/75(2022.01)G06F 16/51(2019.01) G06F 16/53(2019.01) 审查员 丁娇 (54)发明名称 基于改进RANSAC校验的空间失效卫星回环 检测方法 (57)摘要 本发明公开一种基于改进RANSAC校验的空 间失效卫星回环检测方法， 属于视觉导航领域。 所述方法主要包括以下步骤： 开源深度学习方法 HF‑Net， 提取图像的特征点、 局部特征向量以及 全局特征向量这三种特征。 其次， 使用HNSW快速 检索方法， 在将当前图像全局特征向量插入HNSW 图数据库的同时， 计算其与数据库中特征的相似 度， 获取相似度最高的图像索引， 组成回环候选 帧集合； 最后， 使用局部特征进行图像匹配校验， 确定最佳回环图像， 提高了回环检测的精度和稳 定性， 应用前 景广阔。 权利要求书4页 说明书9页 附图2页 CN 114882254 B 2022.09.23 CN 114882254 B 1.一种基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征在于， 该方法包括 如下步骤： （1） 利用视觉相机在实验室仿真环境中以固定频率拍摄运动的失效卫星模型， 制作失 效卫星图像数据集， 将失效卫星图像数据集依照拍摄时间排序， 依次将图像 Ii输入进深度 学习网络中， 输出图像的三种特征： 特征点 Pi， 局部特征 向量Li， 全局特征向量 Gi，i=1,2…, Q，Q为该数据集图像 Ii序列的长度； （2） 将输入的前3 0帧图像得到的全局特 征向量依次插 入并构建HNSW图数据库； （3） 将图像 Ii， 其中i>30的全局特征 Gi在步骤 （2） 构建的HNSW图数据库中展开检索， 使用 余弦距离， 比较当前 特征和图中储 存特征的相似度； （4） 记录与图像 Ii， 其中i>30具有最高相似度的6幅图像的图像索引， 建立图像 Ii， 其中i >30的回环候选帧集 合； （5） 将图像 Ii， 其中i>30的全局特征向量 Gi插入步骤 （2） 构建的HNSW图数据库， 更新HNSW 图数据库； （6） 利用步骤 （4） 得到的图像 Ii， 其中i>30回环候选帧集合， 以及步骤 （1） 获得的特征点 与局部特征向量， 将图像 Ii， 其中i>30与图像 Ii， 其中i>30回环候选帧集合中的每一帧图像 Ig，g=1,2…,6， 进行暴力匹配获取初始匹配点数； （7） 将图像 Ii， 其中i>30与图像 Ii， 其中i>30回环候选帧集合中每一帧图像 Ig，g=1,2…, 6， 进行网格划分与网格支持度计算， 保留支持度高于临界阈值 的匹配点对； （8） 利用RANSAC算法， 从保留下来的匹配点对中随机抽取特征点作 为样本点， 再对样本 点进行迭代计算， 最终求得图像的单应矩阵及对应正确匹配点数； （9） 图像 Ii分别与图像 Ii， 其中i>30回环候选帧集合中 的每一帧图像 Ig，g=1,2…,6重复 步骤 （6）‑（8） ， 计算每一帧图像正确匹配点数占据步骤 （6） 中初始匹配点数的百分比， 即回 环权重， 权重最高的图像帧 Ig，g=1,2…,6即为最优回环帧； （10） 对数据集中图像重复步骤 （1） ‑（9） ， 直至 完成数据库中所有图像的对比。 2.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征 在于， 步骤 （1） 中所述深度学习 网络采用HF ‑Net多任务网络， 所述HF ‑Net多任务网络使用 SuperPoint提取图像 Ii的关键点 Pi与局部特征 Li， 使用NetVLAD提取全局特征 Gi， 并将两者 整合在一起； 其中， 每张图像的特征点数目为500， 特征点对应局部特征 Li的维数为256， 全 局特征Gi的维数为 4096。 3.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征 在于， 步骤 （2） 中将 输入的前30帧图像的全局特征向量看做独立的元素， 逐个插入HNSW图数 据库时， 从目标图层的一个随机元素出发， 查找到与新输入的全局特征距离最近的元素， 组 成集合， 即最近邻元素集合； 将新输入的全局特征向量看作独立元素插入HNSW图数据库中， 并连接到最近邻元素， 完成图数据库构建与更新； HNSW算法是一个结合了跳表思想的层级 结构， 对于输入的前30帧图像的全局特征向量， 由指数衰减概率函数得出其最高投影到第 几图层， 在HNSW图数据库中， 第0层 包含图中所有 元素， 向上元素数依次减少， 从而使 得后续 查找更加快速 。 4.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征权　利　要　求　书 1/4 页 2 CN 114882254 B 2在于， 步骤 （3） 的具体方法是： 将图像Ii， 其中i>30的全局特征向量 Gi在步骤 （2） 中构建的HNSW图数据库进行快速对 比， 检索时遵循从高层向底层的规则， 先贪婪遍历来自高层的元素， 直至达到局部最小值； 之后， 切换到较低层， 从高层最小值对应的低层元 素重新开始遍历； HNSW图数据库中的元素即为图像的全局特征向量， 假设当前输入的全局特征向量 G1= (u1,u2,…,uD)； HNSW图数据库中待检索的全局特征向量为  G2=(v1,v2,…,vD)，D为全局特征 向量的维度， 此处为 4096，u,v均为全局特 征向量分量， 利用余弦距离对比元 素相似度：                                    （1） 其中，  代表两全局特征向量的余弦相似度， u,v均为全局特征向量分量， d=1, 2,…， D， D为全局特 征向量维度。 5.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征 在于， 步骤 （4） 的具体方法是： 比较步骤 （3） 获得的余弦相似度， 记录余弦相似度最高的前六 位图像的索引， 按照余弦值从大到小排序， 建立当前图像的回环候选帧集 合。 6.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征 在于， 步骤 （5） 的具体方法是： 将当前图像的全局特征向量插入HNSW图数据库， 更新数据库， 具体方法是将当前图像的全局特征向量看做独立的元素， 插入HNSW图数据库时， 从目标图 层的一个随机元素出发， 查找到与新输入的全局特征向量距离最近的元素， 组成集合， 即最 近邻元素集合； 将新输入的全局特征向量看作独立元素插入HNSW图数据库中， 并连接到最 近邻元素， 完成图数据库构建与更新； HNSW算法是一个结合了跳表思想的层 级结构， 对于输 入图像的全局特征向量， 由指数衰减概率函数得出其最高投影到第几图层， 在HNSW图数据 库中， 第0层包 含图中所有元 素， 向上元素数依次减少， 从而 使得后续 查找更加快速 。 7.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征 在于， 步骤 （6） 的具体方法是： 将图像 Ii， 其中i>30的所有特征点与其对应的局部特征向量， 与回环候选帧集合中图像 Ig,g=1,2…,6的所有特征点与局部特征向量， 逐个进行匹配测 试， 获得匹配度最高的匹配特 征点对， 完成暴力匹配。 8.根据权利要求1所述的基于改进RANSAC校验的空间失效卫星回环检测方法， 其特征 在于， 步骤 （7） 的具体方法是： 根据网格 打分器， 剔除低分 网格的匹配， 保留高分 网格中的匹 配； 首先， 需将图像进行网格化， 利用网格支持度对网格打 分， 网格支持度定义如下： 假定一组待匹配图像IA和图像IB， 两幅图像的特征点集合分别为 ， 匹配点 集合为 ，n代表匹配点对数， 每一个匹配 xm代表一对相互匹配的特征点； 在图 像IA中随机设置一区域 a， 在图像IB中随机设置一区域 b， 将区域 分为K个区域， 存在一区域对 ， 通过计算得到匹配 xm满足二项分布权　利　要　求　书 2/4 页 3 CN 114882254 B 3