(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210596963.7 (22)申请日 2022.05.30 (71)申请人 上海数川数据科技有限公司 地址 202179 上海市崇明区竖新 镇响椿路 116号3幢310室 (72)发明人 杨惠雯　林宇　赵宇迪　施侃　 (74)专利代理 机构 宿迁市永 泰睿博知识产权代 理事务所(普通 合伙) 32264 专利代理师 刘慧 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/22(2022.01) G06V 10/42(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06T 7/292(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于先验信息的跨摄像头多目标跟踪 方法 (57)摘要 本发明涉及计算机视觉技术领域， 尤其为一 种基于先验信息的跨摄像头多目标跟踪方法， 其 方法包括如下步骤： 利用YoloX模型进行行人检 测， 过滤掉不满足尺寸大小和比例的检测框， 得 到符合要求的行人检测框， 将检测框坐标由二维 图像坐标转到世界坐标系， 以获取行人在某时刻 的实际空间位置， 使用OSNet对检测框内行人进 行全局特征提取。 本发明提出的跨摄像头多目标 追踪方法， 可 以在不引入其它额外信息时， 仅利 用场景数据得到先验信息， 减 轻因外观特征分布 差异可能导致的过度合并问题， 同时兼顾局部轨 迹的时间、 空间和外观特征信息， 从最确定性的 局部轨迹开始聚类， 动态加强条件约束， 使得准 确率更高， 可避免摄 像头视角重叠带来的影响。 权利要求书1页 说明书5页 附图1页 CN 114863366 A 2022.08.05 CN 114863366 A 1.一种基于先验信息的跨摄 像头多目标跟踪方法， 其特 征在于： 其方法包括如下步骤： S1、 行人检测： 利用YoloX模型进行行人检测， 过滤掉不满足尺寸大小和比例的检测框， 得到符合要求的行 人检测框； S2、 空间位置信息获取： 将检测框坐标由二维图像坐标转到世界坐标系， 以获取行人在 某时刻的实际空间位置； S3、 行人特征提取： 使用OSNet对检测框内行 人进行全局特 征提取； S4、 单镜轨迹追踪： 使用多目标追踪算法Sor t对行人进行轨 迹追踪； S5、 先验信息获取： 利用聚类算法InfoMap对目标进行聚类， 然后根据每个类的轨迹数 量计算概率， 并将其处 理到固定的范围内； S6、 跨境轨迹聚类： 按照特征相似度从大到小的顺序进行合并， 直至没有满足聚类条件 且类别数量 不变时停止聚类。 2.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S1中， 对检测框进行筛 选过滤时， 保证行 人检测框中得到的人 形相对完整。 3.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S2中， 转换 所用到的相机参数由实际标定和 测量得到 。 4.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S3中， 对于每 个行人检测框， 计算得到1 ×512维的特 征。 5.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S4中， Sort 算法通过追踪 过去帧和当前帧， 在视频序列的帧之间进 行关联检测， 得 到单镜下轨 迹。 6.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S5中， 计算每条单镜轨迹的平均特征， 并基于所有的单镜轨迹平均特征使用 InfoMap聚类， 聚类时相似度 度量使用余弦距离 。 7.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S5中， 基于聚类后的结果， 统计得到所有单镜轨迹数量Nums以及计算每个类的单 镜轨迹数量Ni， 计算出每 个类的概率。 8.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S6中， 进行聚类时按照余弦距离相似度从小到大 的顺序排列， 合并满足条件的类 别。 9.根据权利要求1所述的一种基于先验信 息的跨摄像头多目标跟踪方法， 其特征在于： 所述步骤S 6中， 判断聚类前、 后数量是否变化， 如数量 发生变化， 则更新特征， 如前后类别数 量不再发生变化， 则执 行特征聚类。 10.根据权利要求1所述的一种基于先验信息的跨摄像头多目标跟踪方法， 其特征在 于： 所述步骤S 6中， 对于合并到同一类别的， 计算其平均特征， 直至聚类数量不再发生变化， 结束聚类。权　利　要　求　书 1/1 页 2 CN 114863366 A 2一种基于先验信息的跨摄像头多目标跟踪 方法 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体为一种基于先验信息的跨摄像头多目标跟 踪方法。 背景技术 [0002]随着科学技术的迅猛发展， 以视频跟踪为基础的智能监控、 智能交通等各个领域 不断满足人们对安全、 智能生活的追求， 越来越受到人们的重视。 从最初的单摄像头目标追 踪， 因视野有限、 遮挡等问题无法完成目标的连续追踪， 到后来出现的多摄像头追踪 可以通 过摄像头之间的协同配合解决该问题， 逐渐成为研究热点。 目前， 跨摄像头多目标跟踪在店 内客户行为分析、 城市交通控制和人群行为分析等方面有着广泛应用。 大多数跨摄像头多 目标跟踪方法包括两个阶段： 第一阶段， 单镜下局部轨迹生成阶段， 即在单个摄像头下检 测、 跟踪每个目标， 并生成局部轨迹； 第二阶段， 跨镜轨迹匹配阶段， 即在所有的摄像头中匹 配单镜下局部 轨迹为每个目标推断出一个完整的、 准确的跨 境轨迹。 [0003]目前， 单镜下的多目标追踪算法主要有三种： 第一种是以匈牙利、 卡尔曼滤波匹配 的后端追踪优化算法， 该类算法优点是能够保证跟踪的实时性， 但比较依赖于检测 算法和 特征； 第二种 是基于多线程的单目标跟踪器的多目标追踪方法， 该算法有优点是跟踪效果 会很好， 但该算法对目标尺度变化要求较大， 同时算法极耗CPU资源， 实时性不高； 第三种是 基于深度学习的多目标跟踪算法， 但该类方法大多处于研究阶段， 落 地应用较少。 [0004]对于跨摄像头多 目标跟踪， 在关联策略上， 目前大多使用轨迹到轨迹匹配来解决 此问题， 其中一些方法借助摄像头相 邻关系， 匹配相 邻两个摄像头的局部轨迹， 直至匹配完 成， 还有一些方法使用贪婪匹配或层次聚类方法来迭代地匹配全部摄像头中的所有轨迹， 有些方法通过使用摄像头拓补的候选修剪和自适应属 性选择来减少搜索空间并提高匹配 效率。 另外， 有的试图使用贝叶斯 公式或图模型来找到轨迹匹配的全局解决方案， 通过最大 化后验概率或找到从源节点到宿节点的网络流来获得每个目标的全局轨迹； 在信息来源 上， 目标外观特征是一种有效的关联不同摄像头下同一目标的重要信息， 另外， 采用图像坐 标与平面地理空间坐标 的映射关系获取目标 的真实位置信息进行关联跟踪的方法也越来 越常用。 [0005]目前， 跨摄像头多目标追踪主要存在以下两个问题： 第一， 不同的目标出现在不确 定数量的摄像头中， 因此与每个目标相关联 的局部轨迹的数量是不同且未知的， 且很难确 定应该匹配多少个局部轨迹并将其整合为全局轨迹。 第二， 利用目标外观特征进 行匹配时， 通常需要设定固定的相似度阈值， 但在不同的场景下目标外观特征分布存在较大的差异 性， 采用固定的阈值进行追踪， 会导 致分布较多的目标间的过度匹配。 发明内容 [0006]本发明的目的在于提供一种基于先验信息的跨摄像头多目标跟踪方法， 可以在不 引入其它额外信息时， 仅利用场景数据得到先验信息， 减轻因外观特征分布差异可能导致说　明　书 1/5 页 3 CN 114863366 A 3