(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210584306.0 (22)申请日 2022.05.27 (65)同一申请的已公布的文献号 申请公布号 CN 114694184 A (43)申请公布日 2022.07.01 (73)专利权人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 周军　郭鸿韬　曹晴晴　弓育川　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 40/70(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 10/74(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 10934 4787 A,2019.02.15 WO 2020052275 A1,2020.0 3.19 CN 110609920 A,2019.12.24 CN 110287889 A,2019.09.27 CA 3136997 A1,202 2.04.29 CN 112597943 A,2021.04.02 CN 112446261 A,2021.0 3.05 WO 2021103868 A1,2021.0 6.03 CN 112446258 A,2021.0 3.05 CN 114140494 A,202 2.03.04 CN 110889314 A,2020.0 3.17 WO 201813 3666 A1,2018.07.26 CN 112926487 A,2021.0 6.08 审查员 王海容 (54)发明名称 一种基于多模板特征更新的行人重识别方 法及系统 (57)摘要 本发明公开了一种基于多模板特征更新的 行人重识别方法及系统， 属于计算机视觉技术领 域。 本发明方法包括： 提取目标行人的行人特征、 提取目标行人的面部图像的人脸 关键点， 以及检 测各视频帧的行人， 对行人进行行人特征提取； 再基于余弦距离确定初步查找对象， 当其与模板 特征组间的余弦距离满足条件一时， 则匹配成 功， 否则， 检测其是否满足条件二， 若是则启动人 脸识别处理， 基于人脸识别确定行人匹配结果， 否则匹配失败； 当连续多帧均匹配成功时， 基于 匹配得到的目标行人特征对模板特征组进行更 新。 本发明还公开了对应本发明方法的行人重识 别系统。 本发明解决了行人识别的遮挡问题， 且 降低了运 算开销， 有效提升 了行人识别稳定性。 权利要求书3页 说明书11页 附图6页 CN 114694184 B 2022.10.14 CN 114694184 B 1.一种基于多模板特 征更新的行 人重识别方法， 其特 征在于， 包括下列步骤： 特征提取步骤： 输入目标行人的整体图像， 提取所述整体图像的行人特征， 得到目标行人的行人特征 并作为初始模板特征， 并将初始模板特征复制N份组成模板特征组， 其中N为大于2的正整 数； 输入目标 行人的面部图像， 提取 所述面部图像的人脸关键点， 得到目标 人脸关键点； 输入视频流数据， 对所述视频流数据的各视频帧进行行人检测， 得到各视频帧的行人 检测结果， 并对每个行人检测结果进行行人特征提取处理， 得到每个视频帧的每个行人 的 行人特征； 行人特征匹配处 理步骤： 计算当前视频帧的每个行人的行人特征与当前模板特征组的每个模板特征之间的余 弦距离， 查找各行人特征与当前模板特征组的平均余弦距离最小的行人， 得到初步查找对 象； 判断初步查找对象的行人特征与当前模板特征组的各模板特征之间的最小余弦距离 是否小于第一阈值， 若最小余弦距离小于第一阈值， 则表示当前帧的目标行人匹配成功， 将 初步查找对象的行 人特征作为当前帧的目标 行人特征； 否则， 继续判断初步查找对象的行人特征与当前模板特征组的各模板特征之间的平均 余弦距离是否小于第二阈值， 若平均余弦距离小于第二阈值， 则表示当前帧的目标行人匹 配成功， 将初步 查找对象的行 人特征作为当前帧的目标 行人特征； 否则， 继续判断初步查找对象的行人特征与当前模板特征组的各模板特征之间的最小 余弦距离是否小于第二阈值， 若最小余弦距离小于第二阈值， 则基于当前初步查找对 象执 行人脸识别处 理步骤； 否则， 继续判断所述初步查找对象的行人特征与当前模板特征组 的各模板特征之间的 平均余弦距离是否小于第三阈值， 若平均余弦距离小于第三阈值， 则基于当前初步查找对 象执行人脸识别处 理步骤； 否则表示当前帧的目标 行人匹配失败； 其中， 第一阈值小于第二阈值， 第二阈值小于第三阈值； 人脸识别处 理步骤： 对当前初步查找对象的行人检测结果进行人脸定位和人脸关键点提取处理， 得到当前 初步查找对 象的人脸关键点， 若与目标人脸关键点相匹配， 则表示当前帧的目标行人匹配 成功， 并将当前初步查找对象的行人特征作为当前帧的目标行人特征； 否则， 当前帧的目标 行人匹配失败； 模板特征组更新 步骤： 当检测到连续多帧的目标行人匹配均成功时， 以最近得到的目标行人特征或者连续多 帧中的任一一帧的目标行人特征作为候选模板特征， 并将模板特征组的后N ‑1个模板特征 作为候选模板特征， 得到包含N个候选模板特征的候选模板特征集； 遍历候选模板特征集中 的N‑1个候选模板特征的组合， 查找N ‑1个候选模板特征的组合内的余弦距离最大的组合； 将查找到的N ‑1个候选模板特征替换模板特征组的后N ‑1个模板特征， 得到更新后的模板特 征组。 2.如权利要求1所述的基于多模板特征更新的行人重识别方法， 其特征在于， 所述特征权　利　要　求　书 1/3 页 2 CN 114694184 B 2提取步骤中， 采用基于神经网络的行 人检测网络对视频流数据的各视频帧进行 行人检测。 3.如权利要求2所述的基于多模板特征更新的行人重识别方法， 其特征在于， 行人检测 网络在检测时的目标类仅设置为 一个类别： 行人。 4.如权利要求1所述的基于多模板特征更新的行人重识别方法， 其特征在于， 所述特征 提取步骤中， 通过基于神经网络的行 人重识别网络进行 行人特征提取。 5.一种基于多模板特征更新的行人重识别系统， 其特征在于， 包括行人检测单元、 行人 特征提取单元、 人脸识别处理单元、 行人特征匹配处理单元、 模板特征组更新单元和存储单 元； 所述行人检测单元， 用于对输入的视频流数据的各视频帧进行行人检测 处理， 并将行 人检测结果存 入存储单元的指定位置； 所述行人特征提取单元， 从存储单元中顺序读取每个视频帧的行人检测结果， 并进行 行人特征提取处理， 得到当前视频帧的每个行人 的行人特征并存入存储单元 的指定位置； 以及对直接输入的目标行人的整体图像进 行行人特征提取， 将目标行人的行人特征作为初 始模板特 征并存入存储单元的指定位置或者 直接发送至模板特 征组更新单 元； 行人特征匹配处理单元， 从存储单元中顺序读取各视频帧的行人特征， 以及从模板特 征组更新单元中读取模板特征组， 对各视频帧进行行人特征匹配处理： 计算当前视频帧的 每个行人的行人特征与模板特征组的每个模板特征之 间的余弦距离， 查找各行人特征与模 板特征组的平均余弦距离最小的行人， 得到初步查找对 象； 并判断初步查找对 象的行人特 征与当前模板特征组的各模板特征之 间的最小余弦距离是否小于第一阈值， 若最小余弦距 离小于第一阈值， 则表示当前帧的目标行人匹配成功， 将初步查找对 象的行人特征作为当 前帧的目标行人特征并发送给模板特征组更新单元； 否则， 继续判断初步查找对 象的行人 特征与当前模板特征 组的各模板特征之 间的平均余弦距离是否小于第二阈值， 若平均余弦 距离小于第二阈值， 则表示当前帧的目标行人匹配成功， 将初步查找对 象的行人特征作为 当前帧的目标行人特征并发送给模板特征组更新单元； 否则， 继续判断初步查找对 象的行 人特征与当前模板特征组的各模板特征之 间的最小余弦距离是否小于第二阈值， 若最小余 弦距离小于第二阈值， 则向人脸识别处理单元发送启动信息； 否则， 继续判断所述初步查找 对象的行人特征与当前模板特征组的各模板特征之 间的平均余弦距离是否小于第三阈值， 若平均余弦距离小于第三阈值， 则向人脸识别处理单元发送启动信息； 否则表示当前帧的 目标行人匹配失败； 所述启动信息包括所述初步 查找对象； 其中， 第一阈值小于第二阈值， 第二阈值小于第三阈值； 所述人脸识别处理单元， 用于对直接输入的目标行人的面部图像进行人脸关键点提取 处理， 并将提取 的人脸关键点作为 目标人脸关键点并保存在人脸识别处理单元； 以及基于 行人特征匹配处理单元发送的启动信息， 从存储单元中读取启动信息中的初步查找对象的 行人检测结果， 对当前初步查找对象的行人检测结果进行人脸定位和人脸关键点提取处 理， 得到当前初步查找对象的人脸关键点， 若与目标人脸关键点相匹配， 则表 示当前帧的目 标行人匹配 成功， 从存储单元中读取当前初步查找对象的行人特征作为当前帧的目标行人 特征并发送给模板特 征组更新单 元； 否则， 当前帧的目标 行人匹配失败； 所述模板特 征组更新模块， 用于模板特