(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210819539.4 (22)申请日 2022.07.13 (65)同一申请的已公布的文献号 申请公布号 CN 114897941 A (43)申请公布日 2022.08.12 (73)专利权人 长沙超创电子科技有限公司 地址 410000 湖南省长 沙市高新 开发区麓 景路2号长沙科技 成果转化基地孵化、 培训楼306房 (72)发明人 余知音　向北海　邹融　陈远益　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06T 7/246(2017.01)G06V 10/25(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) 审查员 沈怡然 (54)发明名称 基于Transformer和CN N的目标跟踪方法 (57)摘要 本发明公开了基于Transformer和CNN的目 标跟踪方法， 包括以下步骤： 根据初始目标位置， 对目标和搜索区域进行裁剪； 根据已知目标， 使 用图像增广手段， 生成在线模板库； 通过CNN网络 进行目标特征提取； 对目标特征分析， 得到相应 帧得分图； 将两目标进行相似度计算， 若相似度 高于一定阈值， 经过简单处理输出； 若相似度低 于阈值， 对漏检的成因进行判断， 若仅单一网络 出现漏检， 则使用当前正确目标对模板库进行更 新， 并对相应网络进行校正； 若两网络同时漏检 尝试找回目标。 本发明保证对形变、 模糊目标跟 踪鲁棒性； 确保跟踪时对目标尺度变化的自适应 力； 保证对目标进行长期跟踪的稳定性； 确保对 遮挡， 形变目标跟踪鲁棒 性。 权利要求书2页 说明书8页 附图2页 CN 114897941 B 2022.09.30 CN 114897941 B 1.基于Transformer和CN N的目标跟踪方法， 其特 征在于， 包括以下步骤： 初始目标 载入： 根据初始目标位置， 对目标和搜索区域进行裁 剪； 在线目标模板库生成： 根据已知目标， 使用图像增广手段， 生成在线模板库； 特征提取： 通过CN N网络进行目标 特征提取； 目标预测： 同时使用两种不同结构的深度学习 网络通过对目标特征分析， 得到相应帧 得分图， 并通过角点回归网络， 将两种预测网络的得分图转换成目标在图幅中的相对位置； 相似度判断： 为减少计算参数， 提高跟踪算法实时性， 将目标预测步骤所得两目标将先 进行相似度计算， 若相似度 高于一定阈值Γs， 则认为两算法均稳定跟踪， 经过简单处理直 接输出； 漏检校正： 若相似度低于阈值Γs， 则证明漏检情况出现， 对漏检的成因进行判断， 若仅 单一网络出现漏检， 则使用当前正确目标对 模板库进行 更新， 并对相应网络进行 校正； 目标重找回： 若两网络同时漏检， 目标已丢失， 停止跟踪， 扩大搜索范围， 尝试找回目 标； 所述目标 预测使用卷积跟踪网络和Transformer 跟踪网络； 所述卷积跟踪网络由卷积层和线性全连接层组成， 通过在线学习目标模板库 特征的方 式， 对卷积分类器进 行更新； 为加快分类模型的收敛速度， 在更新过程中采用高斯—牛顿迭 代法对模型权重进行优化， 更新后的分类器， 将被用于在搜索区域中对当前帧目标进行定 位， 得到相应得分图； 所述Transformer跟踪网络由注意力模块和线性全连接层组成， 为了进一步加强 Transformer网络的局部信息感知能力， 使用卷积层将ResNet提取到的图片特征展平、 映射 为Attention计算所需的 分量； 当前搜索区域与目标模板特征经注意力计算后， 通过线性全连接层MLP， 得到搜索区域 特征F相应得分； Transformer网络得分计算式由下式表示： 其中 由对ResNet提取的特 征进行映射得到分量， 为数据维度； 为保证长效跟踪能力， 使用交叉熵损失函数Lcross和三元损失函数LTriplet进行加权平 均， 如下式所示： 其中 和 分别表示相应损失函数的权重， 为一个训练阈值常数， dmcp和dmcn分别表示 当前结果与正， 负 样本间的马氏距离， cL为常数。 2.根据权利要求1所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 所述裁 剪的方法如下：权　利　要　求　书 1/2 页 2 CN 114897941 B 2其中sw， sh表示最终剪切目标模板长宽， tw， th表示初始目标长宽， α 为搜索范围自适应放 大因子， 根据目标 大小变化。 3.根据权利要求1所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 所述图 像增广手段包括图像旋转、 图像尺寸变换和运动模糊， 所述图像尺寸变换包括： 通过高斯金 字塔和双线性插值分别对模板图像进行缩放处理， 得到不同当前目标 的不同尺度特征， 所 述运动模糊使用均值滤波对图像进行模糊处 理。 4.根据权利要求3所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 所述高 斯金字塔公式如下： 其中w(m， n)为高斯卷积核， Gn为原始模板图像， Gn+1为缩小四分之一后的模板图像。 5.根据权利要求1所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 使用基 于CNN的残差网络ResNet作为骨干网络， 实现对目标模板库以及搜索区域的特 征提取。 6.根据权利要求1所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 为了获 取更为精准的目标尺度估计， 使用角点回归网络， 所述角点回归网络为多层卷积加角点池 化层的结构， 将两种预测网络的得分图转换为相应的跟踪框以及网络 置信度。 7.根据权利要求1所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 两预测 目标相似性由图像结构相似度S SIM表示， S SIM指标计算公式如下式所示： 其中l(γc， γt)代表卷积网络和Transformer网络预测目标的亮度相似度， c(γc， γt) 分别代表卷积网络和Transformer网络预测目标的对比度， s(γc， γt)代表两预测目标的结 构相似度， 以及 分别表示相应相似度分类权 重， cSSIM为常数。 8.根据权利要求1所述的基于Transformer和CNN的目标跟踪方法， 其特征在于， 所述对 相应网络进行 校正包括： 对于卷积跟踪网络， 使用当前目标重构一个临时模板库， 使用与目标预测步骤中的在 线更新方法， 对分类 器权重进行优化； 对于Transformer网络， 使用当前正确目标位置作为正样本， Transformer漏检结果作 为负样本， 计算对比损失Lcompare 其中 为训练阈值常数， mij为输入样本间的马氏距离 。权　利　要　求　书 2/2 页 3 CN 114897941 B 3