(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599116.6 (22)申请日 2022.05.30 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 二号路 (72)发明人 胡炜薇　林庆磊　秦会斌　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 阮玉欣 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/46(2022.01) G06V 10/50(2022.01) G06V 10/74(2022.01) G06V 10/771(2022.01) (54)发明名称 一种基于灰度直方图的ORB-SLA M3回环检测 加速方法 (57)摘要 本发明公开了一种基于灰度直方图的ORB ‑ SLAM3回环检测加速 方法， 步骤S1： 在局部建图线 程向回环检测线程插入关键帧时， 提取关键帧的 灰度直方图， 并计算其标准差、 均值等信息； 步骤 S2： 在回环检测的前端筛选 出高质量的回环候选 关键帧； 步骤S3： 对回环候选关键帧进行回环可 行性验证； 步骤S4： 在回环检测的后端进行回环 矫正。 采用本发明的技术方案， 利用计算轻量的 图像灰度直方图信息， 对输入关键帧进行预筛 选， 从而提高回环验证的输入关键帧的质量， 减 少由关键帧质量低导致的无效计算的次数， 能够 提高ORB‑SLAM3系统的实时性能。 权利要求书2页 说明书6页 附图3页 CN 115063715 A 2022.09.16 CN 115063715 A 1.一种基于灰度直方图的ORB ‑SLAM3回环检测加速方法， 其特征在于， 至少包括以下步 骤： 步骤S1： 在局部建图线程向回环检测线程插入关键帧时， 提取关键帧的灰度直方图， 并 计算其标准差、 均值 等信息； 步骤S2： 在回环检测的前端筛 选出高质量的回环候选关键帧； 步骤S3： 对回环候选关键帧进行回环可 行性验证； 步骤S4： 在回环检测的后端 进行回环矫 正； 其中， 所述 步骤S1进一 步包括： 步骤S11： 对插入到回环检测线程的关键帧灰度图进行自适应裁剪， 根据I ′gray＝Rect (Igray， θ1， λ1， θ2， λ2)， 其中， I ′gray为裁剪后的灰度图， 表示将Igray从坐标( θ1， λ1)截取至( θ2， λ2)， 具体坐标根据输入图像大小自动调整； 步骤S12： 计算 I′gray的灰度直方图Hist， 取0～ 255共256个灰度级； 步骤S13： 根据 对Hist进行范围归一化得到H， 其中xin、 xout 分别为原本各灰度级对应的值与归一化后各灰度级对应的值， 值的取值范围从(γ， δ )映射 到( α， β )； 步骤S14： 计算范围归一 化后的灰度直方图的均值和标准差， 计算公式如下： 其中M×N为灰度直方图H的大小， P(i， j)表示 直方图第i行， 第j列的值； 步骤S15： 建立二维容器来存放帧的数据结构， 以均值作为横坐标， 以标准差作为纵坐 标， 根据( μ， S D)将关键帧放入容器的对应位置； 所述步骤S2进一 步包括： 步骤S21： 根据当前关键帧的均 值和标准差， 根据( μ， SD)从二维容器中取出与当前帧的 均值和标准差相似的关键帧组， 也即在二维容器中存放 位置相近的所有关键帧； 步骤S22： 遍历当前关键帧的所有词袋节点， 根据词袋的倒排索引， 在上述关键帧组中 再取出与当前关键帧有共同节点的所有关键帧K Fs； 步骤S23： 获取当前帧的共视关键帧的数量m， 并从KFs中直接剔除与当前帧的ID 之差小 于m的所有关键帧， 得到新的K Fs； 步骤S24： 从上述K Fs中寻找最 好的三个关键帧， 作为 候选关键帧组； 步骤S25： 计算候选关键帧组中的关键帧与当前帧的灰度直方图的相似度， 剔除相似度 小于0.85的候选关键帧， 相似度计算公式如下；权　利　要　求　书 1/2 页 2 CN 115063715 A 2其中当前 帧与候选关键帧处理后的灰度直方图分别 为H1和H2， H1和H2之间的相似度为d (H1， H2)， d(H1， H2)越接近1则认为两帧之间的相似度越高； 所述步骤S24进一 步包括： 步骤S241： 利用词袋向量计算两帧的相似得分； 步骤S242： 相似得分低于阈值的关键帧标记以后不与当前帧检测； 相似得分高于阈值 的关键帧， 再计算 其相邻关键帧的得分； 步骤S243： 将相似得分高于阈值的关键帧与其相邻关键帧进行得分比较， 返回3个得分 远高于相邻关键帧得分的最 好关键帧， 作为 候选关键帧组； 所述步骤S3进一 步包括： 步骤S31： 几何验证； 当前关键帧的5个共视关键帧中只要有3个满足条件， 即和候选关 键帧组匹配成功， 认为几何验证通过； 如果 不够3个， 则进行S32； 步骤S32： 时序验证； 如果后续输入的关键帧也能与候选关键帧组匹配成功， 则认为时 序验证通过， 与上一步几何验证成功的次数之和为3则认为回环可行性初步验证通过； 如果 连续两帧时序验证失败， 则认为时序验证失败； 步骤S33： 最后进行滚转角、 俯仰角、 偏航角的变换量验证， 只有三个量都小于一定阈值 才认为回环可 行性验证最终通过； 所述步骤S4进一 步包括： 步骤S41： 计算关键帧的Sim3变换； 步骤S42： 位姿传播； 步骤S43： 地图点 修正。权　利　要　求　书 2/2 页 3 CN 115063715 A 3