(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210603100.8 (22)申请日 2022.05.30 (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 陈思　田梓民　王大寒　朱顺痣　 吴芸　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度相互学习的跨域行人重识别方法 及系统 (57)摘要 本发明涉及一种基于深度相互学习的跨域 行人重识别方法及系统， 该方法包括： 将初始网 络在源域中预训练得到基础网络； 构建三分支相 互学习网络框架并在目标域中训练， 每个分支包 括主网络PNet、 平均网络M ean Net和难样本筛选 分类器FNet； 在每个分支中， FNet将样本由易到 难地输入PNet训练， 同时FNet采用三元组损失训 练； PNet得到FNet判断的简单样本后 传输给Mean  Net， 并判断样本对应的软伪标签； 当任意两个分 支由Mean  Net提取的样本特征之间的余弦相似 度小于设定阈值时， 将该样本认定为高置信度样 本并用其更新第三分支中网络； 迭代训练结束 后， 选择三个分支中性能最好的M ean Net用于跨 域行人重识别。 该方法及系统有利于提高跨域行 人重识别的准确性。 权利要求书4页 说明书10页 附图1页 CN 114863485 A 2022.08.05 CN 114863485 A 1.一种基于深度相互学习的跨 域行人重识别方法， 其特 征在于， 包括以下步骤： 步骤A、 将初始网络在源域中预训练， 得到基础网络， 并将基础网络用于目标域的训练 和微调； 步骤B、 构建三分支相互学习网络模型并在目标域中训练， 所述三分支相互学习网络模 型的每个分支包括一个主网络PNet、 一个平均网络Mean  Net和一个难样本筛选分类器 FNet； 步骤C、 在每个分支中， FNet将样本 由易到难地输入PNet训练， 同时FNet采用三元组损 失训练； 步骤D、 每个分支中的PNet得到FNet判断的简单样本后， 将这些样本传输给Mean  Net， 并判断样本对应的软伪标签； 步骤E、 三个分支中由Mean  Net提取的样本特征之间进行余弦相似性度 量， 当任意两个 分支之间的余弦相似度小于设定的阈值时， 将该样本认定为高置信度样本， 并用此样本更 新第三分支中的网络； 步骤F、 按步骤C、 D、 E进行迭代， 直至所有样本训练结束； 选择三个分支中性能最好的 Mean Net在测试集中测试， 测试通过后用得到的Mean  Net进行跨 域行人重识别。 2.根据权利要求1所述的基于深度相互学习的跨域行人重识别方法， 其特征在于， 所述 步骤A中 ， 将源域中的数据表示为 目标域上的数据表示为 其中 和 分别表示源域中当前批次的第i个训练数据和其对应的真实标 签； 则表示目标域中当前批次的第i个训练数据， 在目标域中的数据没有提供其对应的真 实标签； Ns和Nt分别表示源域和目标域中训练样本数量； 选择Re sNet‑50为初始网络， 定义初 始网络参数为θ， 在给定训练数据集S的情况下， 网络将输入的样本 转化为特征表示 其中f(·|θ )是网络 的特征提取函数； 通过分类损失 和三元组损失 训练网 络， 以提高网络的判别能力和自适应能力； 其中， 分类损失 表示为： 其中， 表示输入的图片 属于真实标签 的概率； 三元组损失 表示为： 其中， 对于锚点 来说， 表示最不相似的正样本； 表示最相似的负样本； m是三元组 损失的余量值； 和 分别表示源 域中正样本的特征、 负样本的特 征和锚点样本的特征； max( ·)表示选择最大值； || ·||2表示L2范数； 在每一个训练最小批 次中， 选定一个锚点后， 与锚点属于同一类的样本属于正样本， 反之则为负样本； 当正样本 与锚点的距离大于负样本与锚点的距离加余量值m时， 损失函数 值大于零， 进而更新基 础网络的参数θ 。 3.权利要求1所述的基于深度相互学习的跨域行人重识别方法， 其特征在于， 所述步骤权　利　要　求　书 1/4 页 2 CN 114863485 A 2B中， 对目标域中无标签图片进行 随机噪声处理， 并将图片裁剪成256像素 ×128像素， 分别 输入所述三分支相互学习网络模型的三个分支训练主网络、 平均网络和难样本筛选分类 器； 在目标域训练初始阶段， 每个分支的各网络参数一致， 但随着训练过程中网络输入样本 不同， 网路参数 逐渐表现出差异。 4.权利要求1所述的基于深度相互学习的跨域行人重识别方法， 其特征在于， 所述步骤 C的实现方法为： 难样本筛选分类器FNet通过DBSCAN聚类方法对输入样本进行筛选， 在聚类空间中距离 簇中心近的样本为简单样本， 并将这些样本输入PNet更新其网络参数， 同时不直接丢弃困 难样本， 而是等待下轮迭代时再次判断其难易 程度； 对于输入样本难易程度的判断， 使用Jaccard距离度量每个样本点到聚类中心的距离； 首先计算目标域样本间的成对相似性矩阵Mij， 计算公式表示 为： 其中， Mij是样本特征表示 和 之间的相似性矩阵， 使用样本特征来计算样本 和 之间的相似性， 表示样本 的k‑倒数集； 通过样本成对相似性矩阵计算 Jaccard距离， 定义 为： 通过计算相似性矩阵Mij和Jaccard距离 利用DBSCAN聚类方法将目标域中的 无标签样本分为简单样本和困难样本； 简单样本是在聚类过程中距离聚类中心更近的样 本， 这类样本预测的伪标签也越准确； 难样本筛选分类器FNet使用三元组损失更新， 表示 为： 其中， Nt表示目标域中训练样本数量； 分别表示目标域中的锚点样本， 正样 本和负样本； f( ·)表示特征提取函数， 将 输入的目标域图片转化为特征表 示； n表示三元组 损失余量。 5.权利要求1所述的基于深度相互学习的跨域行人重识别方法， 其特征在于， 所述步骤 D的实现方法为： 无标签数据经过PNet网络提取特征得到的特征表示为 然后聚类得到伪标签 与在源域中训练方式相似， 在无标签的目标域中， 将网络预测的伪标签 当做真实标 签， 并用分类损失 和三元组损失 训练PNet， 再通过反向传播更新PNet的参数； 在网络 交互阶段， 目标域图片分别训练三个分支的PNet， 并且三个分支 中PNet网络的参数定义为权　利　要　求　书 2/4 页 3 CN 114863485 A 3