(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210609475.5 (22)申请日 2022.05.31 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 郎丛妍　陈诗迪　魏莉莉　许喆铭　 李浥东　王涛　冯松鹤　金一　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 毛燕生 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/10(2022.01) (54)发明名称 一种基于图学习的全局结构信息嵌入网络 的目标重识别方法 (57)摘要 本发明公开了一种基于图学习的全局结构 信息嵌入网络的目标重识别方法， 包括步骤： 数 据集分类及预处理、 训练集上图的构建和初始 化、 训练深度学习模型、 测试深度学习模 型。 本发 明利用图学习理论并通过图卷积神经网络自动 学习这种全局结构信息， 将该关系嵌入所学的特 征中， 获得更有表征能力的图形表示， 将目标重 识别问题 转化为新的边预测问题， 从而更快更准 确地判断数据间的关系， 提高了目标重识别的精 度。 权利要求书1页 说明书7页 附图3页 CN 115049894 A 2022.09.13 CN 115049894 A 1.一种基于 图学习的全局结构信息嵌入网络的目标重识别方法， 其中， 全局结构信息 嵌入网络分为编码器/解码器模块和基于注意力感知的图卷积网络模块； 编码器位于全局 结构信息嵌入网络的头部， 解码器位于全局结构信息嵌入网络的尾部,其特征在于， 包括以 下步骤： S1， 数据集分类及预处理： 获取车辆数据集/行人数据集， 将数据集划分为训练集和测 试集， 并针对数据集进行图像裁 剪和图像尺寸调整的数据预处 理； S2， 训练集上图的构建和初始化： 使用残差网络提取训练集中所有图片的特征向量， 根 据提取好的特征向量集合X构 建基于整个训练数据集上的大图 对大图 中边的特征和点 的特征进行初始化， 得到初始化图； S3， 训练深度学习模型， 具体包括以下步骤： S3.1， 将S2中初始化 图作为编码器的输入， 编码器中的多层感知机将初始化图中的原 始顶点特征和边特 征转化到隐空间中； S3.2， 利用基于注意力感知的图卷积网络对隐空间中的顶点特 征和边特 征进行更新； S3.3， 解码器将最终学习到的隐空间中边特征映射到概率空间中， 用于损失函数的计 算； S3.4， 使用交叉熵损失函数和度量嵌入损失函数对整个全局结构信息嵌入网络进行训 练； S3.5， 将S3.4中交叉熵函数和度量嵌入函数 得到的损失相加， 作为 最终的损失； S3.6， 将整个数据集构造的图作为输入， 并在每一个模块都是对所有数据进行处理， 迭 代次数均为 400轮， 训练时间为2 ‑5小时， 得到训练完毕的深度学习网络模型； S4， 测试深度学习模型， 具体包括以下步骤： S4.1， 将包含查询图像和检索库的测试集中的所有图片数据构造并初始化为一个大 图， 并输入到S3中训练好的深度学习模型； S4.2， 获得 预测图中图节点特 征和预测边的概 率； S4.3， 根据两种相似度度量标准进行验证， 查询测试集中图节点的余弦距离和边概率， 进而计算首位命中率和查询图片的平均准确率。 2.根据权利要求1所述的一种基于图学习的全局结构信息嵌入网络的目标重识别方 法， 其特征在于， 基于注意 感知的图卷积网络模块中， 每一个模块 都包含一个边卷积层和一 个顶点卷积层。 3.根据权利要求1所述的一种基于图学习的全局结构信息嵌入网络的目标重识别方 法， 其特征在于， 所述S 3中的度量嵌入函数用于拉近离群值与中心的距离， 从而提高检索时 排序每张被查询图片的平均准确率； 所述S3的深度学习模型训练过程中， 采用自适应估计 (Adam)优化方法对深度学习模型进行优化。权　利　要　求　书 1/1 页 2 CN 115049894 A 2一种基于图学习的全局结构信息嵌入网 络的目标重识别方 法 技术领域 [0001]本发明属于计算机视觉、 模式识别及人工智能领域， 具体涉及一种基于图像间全 局拓扑关系的目标重识别方法。 背景技术 [0002]随着互联 网技术和通信技术的不断发展， 视频与图像等包含视觉信息的数据呈指 数级增长， 这些大规模的视觉数据为人工智能下计算机视觉的重要研究， 带来了巨大 的挑 战。 目标重识别主要用于解决目标的跨相机跟踪， 实现场景匹配和行人、 车辆的跨视场跟踪 以及轨迹预测等。 行 人重识别和车辆 重识别是目标重识别的两个重要任务。 [0003]车辆重识别的任务就是指， 在给定一张测试 图片的前提下， 找出跨摄像头拍 摄的 同一辆车 的图片。 车牌作为车辆独一无二的标识， 存在模糊、 遮挡和虚假拍照的问题。 另外 由于涉及到隐私问题， 科研人员往往无法获得具有车牌信息的数据集， 近些年车辆重识别 方法大多数都是对车辆整体进行 纯视觉的研究。 [0004]行人重识别的目标是， 在给定一个特定行人查询图片的情况下， 可以在被检索的 数据集中找到与之 匹配的图片列表。 现阶段， 解决该问题仍存在 诸多挑战， 例如图像中存在 恶劣的光照条件、 严重遮挡、 行人姿态的多样化、 背 景噪声以及视觉特征和摄像头视角的变 化等情况。 [0005]尽管之前的研究工作极大地推动了目标重识别这一领域的发展， 但几乎所有的相 关算法都忽视了隐藏在整个数据集当中的全局结构特征： 直观来看， 一个真实的车辆/行人 重识别数据集应当包含若干个簇， 其中每个簇代表不同的行人， 而每个簇内部属于同一个 ID的图片实例之间存在着一定的拓扑关系。 [0006]然而现有关注特征学习的算法中， 基于学习有判别性更强特征的方法关注学习更 显著的局部特征， 没有考虑这种数据集中的结构关系,是通过批训练的方式训练样本； 而基 于度量学习的算法则只感知数据集中的局部结构特征， 这是因为这类算法只考虑部 分数据 的距离关系， 却无法学习其 余数据之间的关系。 发明内容 [0007]本发明旨在 提供一种基于图学习的全局结构信息嵌入网络的目标重识别方法， 用 于解决以上问题。 [0008]本发明的技 术方案是： [0009]一种基于图学习的全局结构信息嵌入网络 的目标重识别方法， 其中， 全局结构信 息嵌入网络分为编码器/解码器模块和基于注意力感知的图卷积网络模块； 编码器位于全 局结构信息嵌入网络的头 部， 解码器位于全局结构信息嵌入网络的尾部,包括以下步骤： [0010]S1， 数据集分类及预处理： 获取车辆数据集/行人数据集， 将数据集划分为训练集 和测试集， 并针对数据集进行图像裁 剪和图像尺寸调整的数据预处 理； [0011]S2， 训练集上图的构建和初始化： 使用残差网络提取训练集中所有图片的特征向说　明　书 1/7 页 3 CN 115049894 A 3