(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210679583.X (22)申请日 2022.06.15 (71)申请人 辽宁工程技术大学 地址 123000 辽宁省阜新市细河区中华路 47号 (72)发明人 姜文涛　张大鹏　 (74)专利代理 机构 北京华夏正 合知识产权代理 事务所(普通 合伙) 11017 专利代理师 韩登营 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种定位质 量信息增强的孪生网络目标跟 踪算法 (57)摘要 本发明公开了一种定位质 量信息增强的孪 生网络目标跟踪 算法， 包括： 确定目标， 获取第一 帧图像， 利用已知信息确定标注框， 裁剪目标区 域， 获取目标模板； 相似性比对， 获取当前帧， 利 用特征提取子网络获取目标和搜索区域的特征 图并进行相似性比对， 得到相似性矩阵； 目标定 位， 融合分类分支基于相似性矩阵进行分类任 务， 输出相似性预测分数； 边界预测， 回归分支 基 于相似性矩阵预测目标边界， 并结合相似性预测 分数， 选择最佳预测框； 输 出跟踪结果， 输 出目标 边界框， 进行下一帧的目标跟踪。 本发明能够改 善分类和边界预测过程， 引入CNN网络使模型对 特征图中的语义信息利用更充分， 预测结果具有 较高的可信度。 权利要求书1页 说明书4页 附图3页 CN 115035452 A 2022.09.09 CN 115035452 A 1.一种定位质量信息增强的孪生网络目标跟踪算法， 其特 征在于， 包括以下步骤： 步骤1： 确定目标， 获取第一帧图像， 利用已知信息确定标注框， 裁剪目标区域， 获取目 标模板； 步骤2： 相似性比对， 获取当前帧， 利用特征提取子网络获取目标和搜索区域的特征图 并进行相似性比对， 得到相似性矩阵； 步骤3： 目标定位， 融合分类分支基于相似性矩阵进行分类任务， 输出相似性预测分数； 步骤4： 边界预测， 回归分支基于相似性矩阵预测目标边界， 并结合相似性预测分数， 选 择最佳预测框； 步骤5： 输出跟踪结果， 输出目标边界框， 继续执 行步骤2， 进行 下一帧的目标跟踪。 2.如权利要求1所述的定位质量信 息增强的孪生网络目标跟踪算法， 其特征在于， 在步 骤3中， 融合分类 分支以经过 ψcls调整的特征图作为输入， 输出尺 寸为17×17×1的相似度预 测矩阵， 回归分支以经过 ψreg调整的特征图作为输入， 基于每个正样本点对目标边界进 行预 测， 并结合相似度预测矩阵选择最佳 预测结果。 3.如权利要求1所述的定位质量信 息增强的孪生网络目标跟踪算法， 其特征在于， 在步 骤4中， 回归分支使用的损失函数 是 其计算方式如下： 式中， B和B*分别表示预测框和标注框， C表示预测框和标注框的最小外接矩形的面积， Union(·)表示两个矩形的并集， I oU*表示预测框与标注框的交并比。权　利　要　求　书 1/1 页 2 CN 115035452 A 2一种定位质量信息增强的孪生网 络目标跟踪算法 技术领域 [0001]本发明属于图形图像处理的技术领域， 尤其涉及 一种定位质量信息增强的孪生网 络目标跟踪算法。 背景技术 [0002]目标跟踪要求在视频中， 利用首帧提供的有限信息， 在后续帧中定位目标。 目标跟 踪技术在自动 驾驶， 增强现实， 行人检测和实时监控等领域 都有良好的应用潜力。 同时目标 跟踪也面临着很多由复杂情况带来的挑战， 例如光照条件变化、 目标形变、 部分遮挡和图片 模糊等。 因此， 实现在复杂场景 下的鲁棒 性跟踪仍是一个具有挑战性的任务。 [0003]全卷积孪生网络算法利用孪生结构的卷积神经网络进行目标跟踪。 具体地， 该算 法利用孪生神经网络将目标与后续视频帧中的搜索区域进行相似度比对， 获取相似度矩 阵， 相似度 矩阵中的最大值即为目标位置， 随后通过双三次插值对相似度 矩阵进行扩展， 得 到目标的大致范围， 并利用多尺度测试预测目标边界， 实现目标跟踪。 但该算法对目标模 糊、 低分辨 率、 尺度变化 等问题适应性较差， 应用场景受到较大限制。 [0004]孪生全卷积网络算法的算法框架如图1所示。 该算法包含两个平行分支， 以共享权 重的Alexnet网络作为骨干网络， 这两个分支分别以选定的目标模板Z和从后续帧中裁剪的 搜索区域X作为输入， 经过骨干网络 分别生成尺寸为6 ×6×128和22×22×128的特征 图， 使用式(1)生成尺寸 为17×17×1的相似度矩阵f(Z,X)， *为互相关操作， b为偏差 。 [0005] [0006]在获取相似度矩阵后， 通过双三次插值， 将相似度矩阵扩充至272 ×272×1， 随后 在1.025{‑2,‑1,0,1,2}5个尺度上进行测试， 选择最佳尺度来跟踪目标。 [0007]孪生全卷积神经网络在训练过程中直接使用分类标签作为训练标签， 导致模型学 习到错误的背景信息， 使相似度矩阵的可信度下降， 并且在预测过程中直接利用互相关操 作产生的相似度矩阵预测目标位置， 对目标特征中包含的语义信息利用不够充分， 导致算 法的判别力受到限制。 同时， 采用多尺度测试预测目标边界的策略， 使算法对目标的尺度变 化鲁棒性较低， 在目标发生尺度变化、 旋转等情况时， 不能稳定跟踪目标， 同时导致算法实 时性受到影响。 [0008]另外， 模型在训练过程中学习到背景信息， 导致分类精度降低； 孪生全卷积网络通 过对响应图插值预测目标位置， 不能充分利用语义信息导致模型判别性不佳。 多尺度测试 导致算法对目标尺度变化和形变鲁棒 性不佳， 且算法实时性受到影响。 发明内容 [0009]基于以上现有技术的不足， 本发明所解决的技术问题在于提供一种定位质量信息 增强的孪生网络目标跟踪算法， 能够改善 分类和边界预测过程， 引入CNN网络使模 型对特征 图中的语义信息利用更充分， 预测结果具有较高的可信度。说　明　书 1/4 页 3 CN 115035452 A 3