(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624407.6 (22)申请日 2022.06.02 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 潘天红　崔振威　杨国志　樊渊　 汪政　 (74)专利代理 机构 重庆市嘉允启行专利代理事 务所(普通 合伙) 50243 专利代理师 胡柯 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/246(2017.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G01C 21/00(2006.01) (54)发明名称 一种动态场景下基于目标检测和几何概率 的视觉SLAM方法 (57)摘要 本申请提供一种动态场景下基于目标检测 和几何概率的视觉SLAM方法， 步骤为： 1)采集待 处理图像， 使用目标检测算法将待处理图像划分 为静态区域和动态区域； 2)使用VSA C算法计算静 态区域匹配点的基础矩阵F； 3)使用基础 矩阵F和 对极约束计算动态区域匹配点的几何概率； 4)将 动态区域连续两帧匹配点的几何概率融合， 作为 当前帧匹配点的最终几何概率； 5)对动态区域未 匹配的点进行概率拓展， 得到动态区域所有特征 点的几何概率， 并剔除不满足概率要求的特征 点， 将剩余的点传入后续跟踪和建图步骤。 本申 请将目标检测网络与传统的几何方法相结合能 够同时满足视觉SLAM的精度和实时性要 求， 既保 证了实时性又提高了 定位精度和建图质量。 权利要求书4页 说明书9页 附图2页 CN 114943741 A 2022.08.26 CN 114943741 A 1.一种动态场景下基于目标检测和几何概率的视觉SLAM方法， 其特征在于， 具体步骤 如下： 1)采集待处 理图像， 使用目标检测算法将待处 理图像划分为静态区域和动态区域； 2)使用VSAC算法计算静态区域匹配点的基础矩阵F； 3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概 率； 4)将动态区域连续两帧匹配点的几何概 率融合， 作为当前帧匹配点的最终几何概 率； 5)对动态区域未匹配的点进行概率拓展， 得到动态区域所有特征点的几何概率， 并剔 除不满足概 率要求的特 征点， 将剩余的点传入后续跟踪和建图步骤。 2.如权利要求1所述的一种动态场景下基于目标检测和几何概率的视觉SLAM方法， 其 特征在于， 步骤1)中使用目标检测算法将待处理图像划分为静态区域和 动态区域的具体步 骤为： 1‑1)使用Crowdhuman数据集对Yolov3  tiny目标检测网络进行训练， 得到训练好的 Yolov3 tiny网络； 1‑2)使用训练好的Yolov3  tiny网络将待处理图像分为动态区域和 静态区域， 并提取 待处理图像的特 征点。 3.如权利要求1所述的一种动态场景下基于目标检测和几何概率的视觉SLAM方法， 其 特征在于， 步骤2)中使用VSAC算法计算静态区域匹配点基础矩阵F的具体步骤为： 2‑1)对静态区域的特征点进行特征匹配， 匹配点对数记为N， 根据匹配点的质量进行排 序， 并从高质量匹配点中随机抽样出最小样本集， 使用数值法计算 其基础矩阵Fi； 2‑2)使用自适应SPRT算法判断基础矩阵Fi是否满足成为最优基础矩阵Fbest的条件， 满 足则转至步骤2 ‑3)， 不满足则返回步骤2 ‑1)； 2‑3)判断当前基础矩阵的最小样本集中是否满足有Q个点共面的判定条件， 若不满足 判定条件， 则当前基础矩阵不退化， 并转至步骤2 ‑4)； 若满足判定条件， 则随机在最小样本集外抽取样本， 对当前的基础 矩阵Fi通过对极约束 验证， 判断其是否有满足有P个非主导平面外的点的限定条件， 若满足限定条件， 则当前基 础矩阵不退化， 若不满足限定条件， 并转至步骤2 ‑4)， 则当前基础矩阵退化， 舍弃当前的基 础矩阵， 返回步骤2 ‑1)； 2‑4)计算基础矩阵Fi对应的内点个数， 若比当前最优Fbest的内点数多， 则计算独立内点 个数， 若独立内点个数大于阈值 将Fi记为最优Fbest， 并转至步骤2 ‑5)， 反之则返回步骤2 ‑ 1)； 2‑5)判断当前最优Fbest是否满足局部优化条件， 若满足局部优化条件， 则使用Fbest的内 点集对Fbest进行局部优化， 若不满足局部优化条件返回步骤2 ‑1)； 所述局部优化的判断条件为： 若独 立内点个数大于阈值 且只有当前的最优基础矩阵 和上一个最优基础矩阵的最小样 本集低于0.95J accard指数， 则满足进 行局部优化的条件， 反之则不满足进行局部优化的条件； 所述局部优化的过程为： 在最优基础矩阵对应的内点中随机选取大于最小样本集个数 的点， 使用解析法迭代计算出 更好的基础矩阵； 2‑6)判断算法是否达到循环终止条件， 若满足循环终止条件则转至步骤2 ‑7)， 若不满权　利　要　求　书 1/4 页 2 CN 114943741 A 2足循环终止条件则返回步骤2 ‑1)， 所述循环终止的判断条件为： η大于预设阈值 其中η表 示当前所有随机抽取的最小样本集中至少包含一个全部为内点的最小样本集的概率， 其计 算方式如下： η＝(1‑Pg(1‑α ))k 其中k为当前迭代次数， Pg代表最小样本集中的m个点全为内点的概率， α代表拒绝一个 好模型的概 率， 计算方式如下： Pg＝ εm α ≈1/A 2‑7)对最优Fbest使用迭代最小二乘 方法做最后的优化， 得到最终的最优Fbest， 并将最终 的最优Fbest作为静态区域的基础矩阵F。 4.如权利要求3所述的一种动态场景下基于目标检测和几何概率的视觉SLAM方法， 其 特征在于， 步骤2 ‑2)中使用自适应SPRT算法判断基础矩阵Fi是否满足成为最优基础矩阵 Fbest的条件的具体步骤为： 2‑2‑1)构建基础矩阵Fi使用自适应S PRT算法的限定条件： 式中， 和tv分别代表在使用和不使用自适应SPRT时测试一个点是否为当前基础矩阵 Fi内点的时间， α 是拒绝 好模型的概 率， Ew(T)是已测试点的平均数； 若满足， 则转至步骤2 ‑2‑2)， 若不满足， 则转至步骤2 ‑3)； 2‑2‑2)计算自适应S PRT的参数初始值： 坏模型内点 概率 δ0和好模型内点 概率 ε0： 式中， T为匹配点的总数， 前n次迭代中非最优基础矩阵对应的内点个数的平均值 是当前最优基础矩阵F对应的内点个数， Iδ是通过δ0和 估计得到的非最优基础矩阵F对应 的最大内点个数； 令初始时刻j＝1， 在最小样本集外随机抽 取一个匹配点， 计算基于Wald的SPRT似然比 λj： 式中， Hb与Hg分别代表一个坏 模型和一个好模型， p(xr|Hb)为一个点是坏 模型内点概率， p(xr|Hg)为一个点是好模型内点 概率； 若数据点r为模型的内点， 则xr＝1， 否则xr＝0； 若 λj>A， 则当前的基础矩阵为坏模型， 返回步骤2 ‑1)， 其中A为决策阈值； 若 λj≤A， 且j>N， 则当前的基础 矩阵是一个好模型， 即满足成为最优基础矩阵的条件， 转权　利　要　求　书 2/4 页 3 CN 114943741 A 3