(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210574746.8 (22)申请日 2022.05.25 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 祁磊　沈珈莹　刘家奇　耿新　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 基于标记分布学习的多源域领域泛化行人 重识别系统及方法 (57)摘要 本发明提供一种基于标记分布学习的多源 域领域泛化行人重识别系统及方法， 至少包括训 练模块、 类别间关系挖掘模块、 领域分布对齐模 块和训练方式模块， 所述系统通过类别间关系挖 掘模块挖掘不同类别间的关系信息并标记， 再根 据标记分布反映的领域间关系对类别标记分布 进行修改， 通过领域分布对齐模块使模型对类别 所处领域以外的领域更多且同等 关注， 缓解源域 和目标域之间的域差， 从标记分布学习的角度解 决了领域泛化行人重识别问题， 一方面挖掘了不 同类别之间的关系提升了模型的判别性， 另一方 面消除了不同领域之间的数据分布差异提升了 模型的泛化性， 进一步推动行人重识别应用的实 际落地。 权利要求书3页 说明书8页 附图2页 CN 114821809 A 2022.07.29 CN 114821809 A 1.基于标记分布学习的多源域领域泛化行人重识别系统， 其特征在于： 至少包括训练 模块、 类别间关系挖掘模块、 领域分布对齐模块和训练方式模块； 所述训练模块用于多个源域对行人重识别网络进行训练， 对多个源域数据集提取图像 特征进行网络训练， 并获取每 个样本在网络中分类 器的预测输出； 所述类别间关系挖掘模块通过引入标记分布学习为每个行人类别生成一个标记分布， 所述标记分布通过计算神经网络的分类 器输出得到， 并采用在线更新的形式累加更新； 所述领域分布对齐模块用于忽略类别所在领域的其他类别的标记， 使模型更加关注类 别所处领域以外的领域， 再给其他领域赋予同等程度的关注， 从而对齐数据特征分布、 拉近 领域距离； 所述训练方式模块用于计算系统中的损 失函数， 用损 失函数进行模型训练， 使得模型 收敛， 领域分布差异被消除； 所述系统通过类别间关系挖掘模块挖掘不同类别间的关系信 息并标记， 再根据标记分 布反映的领域间关系对类别标记分布进行修改， 通过领域分布对齐模块使模型对类别所处 领域以外的领域更多且同等关注， 缓解源域和目标域之间的域差 。 2.使用如权利要求1所述系统的基于标记分布学习的多源域领域泛化行人重识别方 法， 其特征在于， 包括如下步骤： S1， 图像特征提取： 利用卷积神经网络， 通过训练模块， 提取各个训练集特征， 形成特征 空间； 所述卷积神经网络选定为加载ImageNet预训练的ResNet ‑50和IBN‑Net50， softmax层 会输出样本的分类预测概 率； S2,类别间相似度获取： 利用网络分类器输出生成标记分布挖掘类别间关系， 初始化两 个相似度矩阵MT和 为 其中C表示总的类别数， 相似度矩阵中的每个元素表示 两个对应类别的相似性， 对每一训练图像获取其softmax层的预测输出， 用Pi表示分类器对 第i类样本的预测， 更新MT的对应行， 具体公式如下， 其中m为超参数， 控制MT被更新的程度： MT[i,:]←(1‑m)MT[i,:]+mPi 每一个epoc h结束后， 将MT赋值给ML更新ML， ML中的第i行则代 表第i类的标记分布； S3， 更新标记分布以对齐领域分布： 对ML中同领域的类别标记分布归零处理， 将更多注 意力给予类别所处领域以外的领域以削弱领域差距， 并对不同差距的领域赋予相等程度的 关注， 更新ML， 得到对齐领域分布的标记分布； S4， 标记分布损失和基础损失， 监督模型训练： 用标记分布损失和基础损失之和进行模 型训练， 使得模型收敛， 领域分布差异被消除； 所述标记分布损失Lldl计算方式如下： 其中， C表示所有源域数据 集总类别数， li表示ML中学到的第i类的标记， pi表示第i类的 网络输出预测概率； 所述基础损失包括交叉熵损失Lid和难样本三元组损失Ltri， 交叉熵损失Lid的计算方式 如下：权　利　要　求　书 1/3 页 2 CN 114821809 A 2其中， qi表示样本的真实标记， pi表示预测样本属于类别i的概率， C表示所有源域数据 集总类别数； 难样本三元组损失Ltri的计算方式如下： Ltri＝(max da,p‑min da,n+α )+ 其中， α 是设定的阈值参数， a表示一个固定图像， p和n表示在一个训练批次内选择的距 离最远的正样本图像和距离最近的负 样本图像； S5， 结果输出： 对目标域测试集 提取特征并检索测试， 输出 结果。 3.如权利要求2所述的基于标记分布学习的多源域领域泛化行人重识别方法， 其特征 在于： 所述步骤S1中， 训练过程中用Adam优化器， 输入图像大小设置为256 ×128， 并采用随 机裁剪、 随机翻转和自动增强的数据增强方式。 4.如权利要求3所述的基于标记分布学习的多源域领域泛化行人重识别方法， 其特征 在于： 所述 步骤S3进一 步包括： S31： 对第i类的标记分布， 即ML中第i行， 将第i类所处域中除 了第i类本身的值以外的值都置为0； S32： 计算第i类与领域d的相似度， 公式如下： 其中， Id表示Li中所有属于领域d的类别序号， Nd表示领域d中的类别总数， φ( ·)表示 一个将样本映射到所在领域序号的函数； S33： 计算第i类与其 他所有领域的相似度的平均值， 公式如下： 其中， K是训练集中领域总数， D表示训练集中所有领域的集合， D\φ(i)表示从集合中 去掉领域φ(i)后的集 合； S34： 根据步骤S33求得的值， 将第i类的标记分布记为[ …,li,…,lj,…]， 则lj会被修改 为： s.t.,φ(j)≠φ(i)。 5.如权利要求4所述的基于标记分布学习的多源域领域泛化行人重识别方法， 其特征 在于： 所述 步骤S4中， 对交叉熵损失加入标记软化， qi表示软化后样本的真实标记， 具体为：权　利　要　求　书 2/3 页 3 CN 114821809 A 3