(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210637720.3 (22)申请日 2022.06.07 (71)申请人 沈阳航空航天大 学 地址 110136 辽宁省沈阳市道义经济开发 区道义南大街37号 (72)发明人 石祥滨　刘翠微　毕静　刘芳　 张德园　武卫东　李照奎　李琳　 吕浩杰　郑竣太　 (74)专利代理 机构 沈阳维特专利商标事务所 (普通合伙) 21229 专利代理师 张倩怡 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) G06T 7/73(2017.01) G01C 21/20(2006.01) G01C 21/00(2006.01) (54)发明名称 基于深度学习模型的回环检测方法 (57)摘要 本发明提供了一种基于深度学习模型的回 环检测方法， 包括： 通过手持相机采集室内环境 图像数据， 并对室内环境图像数据进行筛选、 整 理、 修改格式， 获取输入 数据作为网络输入； 利用 室内环境图像数据对YOLO目标检测模型进行预 训练， 获得最终YOLO目标检测模型； 将输入数据 输入最终YOL O目标检测模型进行目标检测， 将检 测结果输出文件保存， 获取输出数据； 将输出数 据利用局部敏感哈希函数进行降维， 利用余弦距 离判别是否产生回环； 建立回环缓冲机制， 在特 定时间内， 单次检测到的回环并不足以构成良好 的约束， 多次检测到的回环则判定为正确的回 环。 能更准确识别回环、 减少计算、 节约时间成 本。 权利要求书2页 说明书6页 附图1页 CN 114972953 A 2022.08.30 CN 114972953 A 1.一种基于深度学习模型的回环检测方法， 其特 征在于， 所述回环检测方法包括： 数据处理， 通过手持相机采集室内环境图像数据， 并对所述室内环境图像数据进行筛 选、 整理、 修改格式， 获取输入数据作为网络 输入； 预训练YOLO目标检测模型， 利用所述室内环境图像数据对YOLO目标检测模型进行预训 练， 获得最终YOLO目标检测模型； 获取输出数据， 将所述输入数据输入所述最终YOLO目标检测模型进行目标检测， 将检 测结果输出文件保存， 获取输出 数据； 判断回环， 将所述输出数据利用局部敏感哈希函数进行降维， 利用余弦距离判别是否 产生回环； 验证回环， 建立回环缓冲机制， 在特定时间内， 单次检测到的回环并不足以构 成良好的 约束， 多次检测到的回环则判定为 正确的回环。 2.根据权利要求1所述的基于深度学习 模型的回环检测方法， 其特征在于， 所述数据处 理包括： 选取每12帧中的一帧作为当前帧， 即每秒选取两帧， 获取筛 选帧； 将所有所述筛选帧的图像按照时间戳顺序在文件文本 中存储， 将对应时间戳的彩色图 像与深度图像对应， 获取输入数据 ‑多个关键帧。 3.根据权利要求1所述的基于深度学习 模型的回环检测方法， 其特征在于， 所述预训练 YOLO目标检测模型包括： 利用数据标注软件， 对采集到的所述室内环境图像数据进行标注， 所述标注包括目标 种类和数量； 根据所述目标种类和数量， 修改所述YOLO目标检测模型的配置文件中参数的值； 利用GPU对所述YOLO目标检测模型进行预训练， 设置迭代次数， 生成权重文件， 获取最 终YOLO目标检测模型。 4.根据权利要求3所述的基于深度学习 模型的回环检测方法， 其特征在于， 所述获取输 出数据包括： 目标检测， 将所述输入数据 ‑关键帧输入所述最终YOLO目标检测模型中， 检测每个所述 关键帧中的包 含的目标种类与数量， 获取检测结果； 数据存储， 将所述检测结果保存到文本文件中， 所述检测结果以向量方式存储， 所述向 量的第一个值 为对应图像的时间戳的值， 其 余值为对应的目标 数量， 获取输出 数据。 5.根据权利要求4所述的基于深度学习 模型的回环检测方法， 其特征在于， 所述判断回 环包括： 构造哈希函数表， 将所述输出数据作为训练文本， 将所述训练文本输入基于余弦距离 的局部敏感哈希算法构造哈希函数表； 新观测数据分类， 在机器人的实 际运动过程中采集新观测数据， 通过查询所述哈希函 数表， 获取新观测数据对应的哈希桶位置， 并将所述新观测数据存储在相应的所述哈希桶 中； 判别为回环， 取最终落在相同哈希桶中的相似的所述新观测数据进行余弦距离比较， 当相似的两 帧图像的余弦距离小于当前帧与相邻所述关键 帧的余弦距离则判定为可能形 成了回环。权　利　要　求　书 1/2 页 2 CN 114972953 A 26.根据权利要求5所述的基于深度学习 模型的回环检测方法， 其特征在于， 所述余弦距 离为： 式中， A和B分别表示两帧图像的向量； Ai和Bi分别为两帧 图像的特征向量中对应的目标 种类的数量。 7.根据权利要求5所述的基于深度学习 模型的回环检测方法， 其特征在于， 所述验证回 环为： 根据时间一致性检测原则， 设立回环缓存机制， 在所述新观测数据中只有一帧检测到 回环可以认定为是场景相似， 并将该结果进行保存， 若在此帧之后的一段时间内都检测到 和之前的某段时间的数据很相似， 才认定真的产生了回环。 8.根据权利要求1至7中任一项所述的基于深度学习模型的回环检测方法， 其特征在 于， 所述手持相机为RDB ‑D。权　利　要　求　书 2/2 页 3 CN 114972953 A 3