(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084460.8 (22)申请日 2022.09.06 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 项水英　张涛　蒋树庆　张雅慧　 郭星星　施跃春　郝跃　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 万艳艳 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 基于脉冲编码可学习SNN的目标跟踪 方法及 电子设备 (57)摘要 本发明公开了一种基于脉冲编码可学习SNN 的目标跟踪方法， 包括： 将 视频分解为多帧图像， 并将第一帧图像变换到第一尺度， 以及将其他帧 图像变换到第二尺度， 得到视频帧序列； 基于脉 冲神经网络模 型对视频帧序列进行目标跟踪； 该 模型是对SiamFC++ 网络进行改造 得到的， 改造方 式为将SiamFC++网络中的backbone替换为一前 端网络； 该前端网络包括两个分支， 每个分支均 包括脉冲编码 模块、 脉冲特征提取模块以及求点 火率模块， 脉冲编码模块用于将图像编码为由二 进制数组成的五维编码向量； 脉冲特征提取模块 用于从五维编码向量中提取脉冲特征； 求点火率 模块用于从脉冲特征中去除时间维度t。 本发明 利用SNN实现了目标跟踪。 权利要求书2页 说明书11页 附图3页 CN 115409870 A 2022.11.29 CN 115409870 A 1.一种基于脉冲编码可 学习SNN的目标跟踪方法， 其特 征在于， 包括： 将待进行目标跟踪的视频分解为多帧图像， 并将其中的第一帧图像变换到第一尺度， 以及将其 他帧图像 变换到第二尺度， 得到预处 理后的视频帧序列； 基于预先训练完成的脉冲神经网络模型对所述视频帧序列进行目标跟踪； 其中， 所述脉冲神经网络模型是对SiamFC++网络进行改造得到的， 改造方式为将 SiamFC++网络中的网络骨干backbone替换为一前端网络； 所述前端网络包括两个分支， 所 述两个分支分别用于对不同尺度的图像进行 前端处理； 所述前端网络的每个分支均包括脉冲编码模块、 脉冲特征提取模块以及求点火率模 块， 其中， 所述脉冲编码模块， 用于将图像编码为由二进制数组成的五维编码向量[t,b,c, h,w]； t表示时间维度， b表示batch  size维度， c表示图像通道维度， h表示图像高度维度， w 表示图像宽度维度； 所述脉冲特征提取模块， 用于从所述 五维编码向量中提取脉冲特征； 所 述求点火率模块， 用于从所述脉冲特 征中去除时间维度t。 2.根据权利要求1所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述 脉冲编码模块， 包括： 卷积层、 时间域扩展子模块以及IF神经 元层； 所述卷积层， 用于将图像编码为四维编码向量[b,c,h,w]； 所述四维编码向量非是由二 进制数组成的； 所述时间域扩展子模块， 用于将所述四维编码向量在时间域上进行扩展， 得到扩展向 量； 所述IF神经元层， 用于将所述扩展向量激活为所述五 维编码向量。 3.根据权利要求2所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述 时间域扩展子模块， 将所述四维编码向量在时间域上进行扩展， 得到扩展向量， 包括： 将所 述四维编码向量重复T次， 得到扩展向量； T ∈t。 4.根据权利要求1所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述 脉冲特征提取模块中使用IF神经 元作为激活函数。 5.根据权利要求1所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述 脉冲神经网络模型的训练过程如下： 获取视频数据集； 所述视频数据集包括多个视频样本， 每个视频样本均由多帧图像组 成， 且每帧图像均标记有目标位置 框； 从所述视频 数据集中选取一对属于同一视频样本的图像分别作为模版帧和搜索帧； 将所述模版帧和所述搜索帧分别输入至所述两个分支， 以使所述脉冲神经网络模型输 出回归矩阵、 分类矩阵 以及质量矩阵； 其中， 所述回归矩阵中的元素为表征目标跟踪 预测框 的向量； 所述分类矩阵中的元素为该元素是否对应目标的分类结果； 所述质量矩阵中的元 素用于表征目标跟踪预测框的预测 准确程度； 所述回归矩阵、 所述分类矩阵以及所述质量 矩阵的矩阵维度相等； 根据所述 回归矩阵、 所述分类矩阵以及所述质量得分矩阵评估当前的脉冲神经网络模 型是否收敛； 若未收敛， 调整当前的脉冲神经网络模型的网络权重参数， 从所述视频数据集中选取 下一对图像继续训练； 否则， 结束训练， 得到训练完成的脉冲神经网络模型。 6.根据权利要求5所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115409870 A 2调整当前 的脉冲神经网络模型 的网络权重参数， 包括： 使用梯度下降法调整当前 的脉冲神 经网络模型的网络 权重参数； 所述梯度下降法中使用第一梯度计算公式实现梯度计算； 所述第一梯度计算公式为： 其中， x为所述脉冲神经网络模型中的激活函数的输入， e为自然底数， g'(x)表示梯度。 7.根据权利要求5所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述 调整当前 的脉冲神经网络模型 的网络权重参数， 包括： 使用梯度下降法调整当前 的脉冲神 经网络模型的网络 权重参数； 所述梯度下降法中使用第二梯度计算公式实现梯度计算； 所述第二梯度计算公式为： x为所述脉冲神经网络模型中的激活函数的输入， e为自然底数， g'(x)表示梯度。 8.根据权利要求5所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 基于 预先训练完成的脉冲神经网络模型对所述视频帧序列进行目标跟踪， 包括： 将所述视频帧序列中的第1帧图像作为模版帧、 并将所述视频帧序列中的第i＝[2,3, 4,L,N]帧图像作为搜索帧输入至训练完成的脉冲神经网络模型， 得到第i次输出的分类矩 阵、 回归矩阵以及质量矩阵； N 为所述视频帧序列的帧数； 将第i次输出的质量矩阵和分类矩阵相乘， 得到第i个分类得分矩阵； 根据第i个分类得分矩阵， 从第i次输出的回归矩阵中选取所对应分类得分最高的元 素， 并将该 元素表征的目标跟踪预测框在第i帧图像中可视化展示。 9.根据权利要求5所述的基于脉冲编码可学习SNN的目标跟踪方法， 其特征在于， 所述 视频数据集包括： G OT10K。 10.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总 线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 所述存储器， 用于存放计算机程序； 所述处理器， 用于执行所述存储器上所存放的计算机程序时， 实现权利要求1～9任一 项所述的基于脉冲编码可 学习SNN的目标跟踪方法所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115409870 A 3