(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210870382.8 (22)申请日 2022.07.22 (71)申请人 北方信息控制研究院集团有限公司 地址 211106 江苏省南京市江宁区将军大 道528号 (72)发明人 姚雨　孙林　宋春林　王均波　 程彬　何军　张志虎　王新萌　 于裕　雷松强　刘杨琳　孙林　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 汪清 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) (54)发明名称 基于语义分割的航拍图像快速 定位方法 (57)摘要 本发明提出了一种基于语义分割的航拍图 像快速定位方法， 包括以下步骤： 语义分割阶段： 对航拍图像数据集中的建筑和道路等特征显著 的物体进行人工标注， 再选择语义分割模型进行 调整并将其训练至收敛， 完成对 无人机航拍图像 的语义分割； 快速搜索 阶段： 将卫星遥感图像按 照相同的方法进行标注并生 成遥感标签地图， 再 以最小归一化总误差为依据将分割后的航拍图 像在遥感标签地图上进行快速搜索， 确定出航拍 图像在遥感图像上的大致区域； 精准匹配阶段： 使用基于特征点的图像匹配算法将航拍图像与 确定区域的遥感图像进行特征点匹配， 实现精准 定位。 本发明极大地简化了匹配过程的复杂度， 提高了定位效率， 对含有旋转变化的航拍图像同 样适用。 权利要求书2页 说明书4页 附图5页 CN 115527128 A 2022.12.27 CN 115527128 A 1.一种基于语义分割的航拍图像快速 定位方法， 其特 征在于， 包括以下步骤： 语义分割阶段： 对航拍图像数据集中的建筑和道路等特征显著 的物体进行人工标注， 再选择语义分割模型进行调整并将其训练至收敛， 完成对无 人机航拍图像的语义分割； 快速搜索阶段： 将卫星遥感图像按照相同的方法进行标注并生成遥感标签地图， 再以 最小归一化总误差为依据将分割后的航拍图像在遥感标签地图上进行快速搜索， 确定出航 拍图像在遥感图像上的大致区域； 精准匹配阶段： 使用基于特征点的图像匹配算法将航拍图像与确定区域的遥感图像进 行特征点匹配， 实现精准定位。 2.根据权利要求1所述的基于语义分割的航拍图像快速定位方法， 其特征在于， 语义分 割阶段， 具体步骤如下： 1.1、 选取无人机航拍的图像或视频帧作为航拍图像数据， 使用labelme软件对图像中 的特征物理及其背景进行标注， 标注完成后每张图像得到一个同名称的json文件， 再运行 labelme2voc脚本文件将标注好的文件转 化为voc格式； 1.2、 选取深度神经网络Deepl abv3p作为语义分割模型来实现航拍图像的像素级分类， 其主干网络结构为 Resnet50， 并对其中类别名称和数量、 学习率等参数进行调整， 使其与步 骤1.1中标注的数据集格式相匹配； 1.3、 使用步骤1.2中的语义分割模型对步骤1.1中的数据 集进行训练， 训练至收敛后保 存相应的权重文件， 语义分割模型通过加载训练好的权重即可对输入航拍图像进行分割， 得到分割后的图像。 3.根据权利要求1所述的基于语义分割的航拍图像快速定位方法， 其特征在于， 语义分 割阶段， 快速 搜索阶段， 具体步骤如下： 2.1、 将分割后的航拍图像和遥感标签地图先转化为灰度图像， 降低计算复杂度， 再将 转化后的灰度航拍图像在转化后的灰度遥感上以窗口的形式进行滑动， 每滑动一次， 计算 一次灰度遥感标签图相应区域的灰度均值及各 灰度值的个数； 2.2、 计算灰度航拍图像与灰度遥感标签图像的均值 误差的绝对值； 2.3、 计算灰度航拍图像与灰度遥感标签图像的各 灰度值个数的绝对误差和； 2.4、 灰度航拍图像与灰度遥感标签 图像之间的总误差为归一化均值误差与归一化绝 对误差和之和； 2.5、 以最小化灰度航拍图像与灰度遥感标签图像之间的总误差为依据， 选取总误差最 小的区域作为快速 搜索阶段确定的待精准匹配区域。 4.根据权利要求3所述的基于语义分割的航拍图像快速定位方法， 其特征在于， 计算灰 度航拍图像与灰度遥感标签图像的均值 误差的绝对值： Mean_error＝|Mean(UAV)‑Mean(Temp)| 其中， UVA表示航拍图像， Temp表示遥感标签图像， Mean表示均值。 5.根据权利要求3所述的基于语义分割的航拍图像快速定位方法， 其特征在于， 计算灰 度航拍图像与灰度遥感标签图像的各 灰度值个数的绝对误差和： 其中， i表示各灰度值， UVAi表示灰度航拍图像中灰度值为i的像素个数， Tempi表示灰度权　利　要　求　书 1/2 页 2 CN 115527128 A 2遥感标签图像中灰度值 为i的像素个数。 6.根据权利要求3所述的基于语义分割的航拍图像快速定位方法， 其特征在于， 灰度航 拍图像与灰度遥感标签图像之间的总误差为归一 化均值误差与归一 化绝对误差和之和： Total_er ror＝norm(Mean_er ror)+norm(Num_er ror) 其中， norm()表示归一化操作， Mean_error表示灰度航拍图像与灰度遥感标签图像的 均值误差的绝对值， Num_error表示灰度航拍图像与灰度遥感标签图像的各灰度值个数的 绝对误差和。 7.根据权利要求1所述的基于语义分割的航拍图像快速定位方法， 其特征在于， 精准匹 配阶段， 具体步骤如下： 3.1、 在原卫星遥感图像中裁 剪出待精准匹配区域。 3.2、 使用基于特征点的尺度不变特征变换匹配算法将航拍图像与确定区域的遥感图 像进行特征点的精准匹配， 并确定出航拍图像在遥感图像中的具体位置 。 3.3、 根据遥感图像的像素点坐标与经纬度的对应关系， 定位出航拍图像的精准位置信 息。权　利　要　求　书 2/2 页 3 CN 115527128 A 3