(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210868374.X (22)申请日 2022.07.22 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 徐怡　栾风光　 (74)专利代理 机构 合肥市泽信专利代理事务所 (普通合伙) 3414 4 专利代理师 方荣肖 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06T 5/50(2006.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06Q 10/08(2012.01) (54)发明名称 多无人机协同配送中基于人脸融合的目标 识别方法及系统 (57)摘要 本发明涉及多无人机协同配送中基于人脸 融合的目标识别方法及系统。 识别方法包括如下 步骤： S1： 无人机飞行至收货地址上空； S2： 实时 采集行人视频， 对视频进行预处理得到多个视频 帧图像； S3： 在视频帧图像中提取出人脸图片； S4： 对人脸照片进行初步匹配； 初步匹配成功则 进行S7； 将具有不确定性的人脸照片 存储为待融 合照片， 进行S5； S5： 将与同一收货人初步匹配获 取的两张待融合图片融合为一张融合图片； S6： 对融合照片进行精确匹配； S7： 获取初步匹配与 精确匹配中匹配成功的人脸图片对应的无人机 位置， 对收货人进行最终识别确认。 本发明引入 基于多无人机协同的人脸融合技术， 提升了人脸 识别的精度， 提高寻找收货人的效率， 提高整体 配送效率。 权利要求书3页 说明书10页 附图2页 CN 115050080 A 2022.09.13 CN 115050080 A 1.一种多无人机协同配送中基于人脸融合的目标识别方法， 其采用多个无人机协同识 别的方式， 在无 人机配送过程中识别收货人； 其特 征在于， 所述识别方法包括如下步骤： S1： 获取实时生成的订单信息； 每个无人机配送一个订单； 无人机装配相应的货物后飞 行至收货地址上空； 其中， 所述 订单信息由用户提供， 包括收货地址和收货人照片； S2： 无人机以行人为取景对象实时采集视频； 对全部的视频进行分帧处理， 根据预设的 采样频率抽取多个视频帧图像； 记录每 个所述视频帧图像对应的无 人机位置信息； S3： 通过人脸检测模型在每个所述视频帧图像中输出包含人脸特征的预测框； 截取所 述预测框范围内的图片作为人脸图片； S4： 每个无人机根据相应的所述收货人照片创建相应的照片集； 对人脸照片进行初步 匹配； 初步匹配的方法如下： S41： 计算所述人脸照片与每 个收货人照片的欧氏距离一； S42： 判断所述欧氏距离一是否处于一个预设的阈值范围内， 并作出如下决策： 若所述 欧氏距离一低于预设的阈值范围， 则获取该人脸照片所对应的无人机位置信息， 随后进行 S7； 若所述欧氏距离一处于所述阈值范围内， 则该人脸照 片具有不确定性， 将该人脸照 片存 储在相应的照 片集中作为待融合照 片， 随后进 行S5； 若所述欧氏距离一高于所述阈值单位， 则将该照片删除， 并返回S2； S5： 在每个照片集中选取两张待融合照片融合 为一张融合照片； 其中， 选取待融合照片的方法如下： 判断所述待融合照片存储在所述照片集中的时间是否超出一个预设的时间； 并作 出如 下决策： 若超 出预设的时间， 则将该待融合照片删除， 并返回S2； 若 未超出预设的时间， 则进 而判断每个照片集中的待融合照片的数量是否少于两个， 若不少 于两个， 则在每个照片集 中按欧氏距离一从小到大的顺序选取两张待融合照片进行融合， 得到与收货人照 片一一对 应的多个融合图片， 进行S6； 若少于 两个则返回S2； 融合照片的融合方法如下： S51： 在同一照片集中按欧氏距离一从小到大的顺序选取两张待融合照片； 分别获取两 张待融合照片的多个特 征点； S52： 根据多个所述特征点对每 张待融合照片的人脸分别进行Delaunay三角剖分， 得到 多个三角形图片作为剖分图片集； S53： 分别 对两个剖分图片集遍历， 每次遍历 从两个剖分图片集中各获取一个三角形图 片； 对两个三角形图片取平均值获取融合三角形图片； 将用于融合的两个三角形图片仿射 变换调整到融合 三角形图片上； S54： 调整每个三角形图片的透 明度， 根据融合公式将两张待融合照片融合成一张融合 图像； S6： 对融合照片进行精确匹配； 精确匹配的方法如下： S61： 计算融合图片与收货人照片的欧氏距离二， S62： 判断所述欧氏距离二是否高于一个预设的阈值； 并作出如下决策： 若欧氏距离二 高于所述阈值， 则将相应的待融合照 片中欧氏距离一较高的一个待融合照 片删除， 返回S2； 否则判断该融合照片所对应的两张待融合照 片的存储时间， 获取其中时间最近的待融合照 片所对应的无 人机位置信息；权　利　要　求　书 1/3 页 2 CN 115050080 A 2S7： 根据所述无人机位置信息、 待融合照片在视频帧图像的坐标和待融合照片相对于 视频帧图像的面积比例 计算收货人位置； 已获取目标位置的无人机移动到 收货人位置； 对 目标收货人进 行最终识别， 确认目标识别是否成功， 若识别不 成功则返回S2； 若识别成功则 进行货物交付。 2.根据权利要求1所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 在S2中， 若无人机未获取相应的收货人位置， 则无人机自动生成移动路径， 在收货地 址的上空飞行， 并实时探测周围环境， 采集行人视频； 若无人机已获取相应的收货人位置， 则无人机直接飞行至收货人位置处； 在无 人机处于收货地址上空时， 持续采集行 人视频。 3.根据权利要求1所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 在S3中， 通过基于LFFD算法 的人脸检测模型检测 每个视频帧中的人脸特征并输出包 含人脸特征的预测 框； 其中， 所述LFFD算法 的网络具有8个分支， 用于检测不同规模大小的 人脸； 每个 分支分为两个子 分支， 分别用于人脸二分类和预测框回归； 人脸二分类采用具有 交叉熵损失的SoftMax函数， 预测框回归 采用L2损失函数。 4.根据权利要求3所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 所述预测框的定义如下： 其中RFx和RFy为感受野的中心坐标， RFs为感受野的大小， RFs/2则作为标准化常数来使 用， 和 是标签边框的左上角坐标， 和 是标签边框的右下角坐标。 5.根据权利要求1所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 在S4中， 所述人脸识别模型采用face_recognition算法； face_recognition算法用 于： 将具有人脸特征 的图像转化为多个特征向量； 根据每张图像的特征向量计算两张图像 之间的欧氏距离 。 6.根据权利要求1所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 在S54中， 所述融合公式为： M(x， y)＝ ε ×J(X， y)+(1 ‑ε )×I(X， y) 其中， M(x,y)为融合图像在平面坐标系中坐标为(x,y)的像素值， ε为融合度参数， J为 第一待融合照片， J(x,y)表示第一待融合照片中坐标为(x,y)的像素值， I为第二待融合照 片， I(x,y)表示第二待融合照片中坐标为(x,y)的像素值。 7.根据权利要求1所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 在S 5至S6中， 对于任意一个照片集， 在删除用于融合的两张待融合照 片中欧氏距离一 较高的一个待融合照 片后， 将另一张待融合照片与其他待融合照 片中欧氏距离一最小的一 个待融合照片进 行融合， 直至该待融合照 片超出预设的时间或 融合照片与收货人照片的欧 氏距离二小于所述阈值； 若 该待融合照 片超出预设的时间， 则返回S2； 若融合照 片与收货人 照片的欧氏距离二小于所述阈值， 则进行S7。 8.根据权利要求1所述的多无人机协同配送中基于人脸融合的目标识别方法， 其特征 在于， 在S7中， 目标识别的确认方法包括以下步骤： S71： 无人机正对收货人位置获取收货人的正 面视频；权　利　要　求　书 2/3 页 3 CN 115050080 A 3