(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210610953.4 (22)申请日 2022.05.31 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 吴俊毅　高志鹏　姚灿荣　赵建强　 杜新胜　张辉极　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06T 7/194(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01)G06V 10/82(2022.01) (54)发明名称 一种闭环的端到端行人重识别背景抑制方 法和系统 (57)摘要 本发明给出了一种闭环的端到端行人重识 别背景抑制方法和系统， 包括利用第一路网络中 的残差卷积块提取输入的原始图像的特征， 并通 过第一损失函数L1进行约束； 通过Mask  r‑CNN获 得特征的人体掩膜利用 掩膜预测损失函数Lmask 修正掩膜的精准度； 将人体掩膜和原始图像相 乘， 获得前景图像， 将前景图像作为第二路网络 的输入， 并将第一路网络的残差卷积块的特征引 入第二路网络， 利用第二损失函数L2进行约束。 本发明在多个行人重识别的数据集上都取得具 有竞争力的性能。 权利要求书2页 说明书7页 附图2页 CN 114820687 A 2022.07.29 CN 114820687 A 1.一种闭环的端到端行 人重识别背景抑制方法， 其特 征在于， 包括： S1： 利用第一路网络中的残差卷积块提取输入的原始图像的特征， 并通过第一损失函 数L1进行约束； S2： 通过Mask  r‑CNN获得所述特征的人体掩膜利用掩膜预测损失函数Lmask修正掩膜的 精准度； S3： 将所述人体掩膜和所述原始图像相乘， 获得前景图像， 将所述前景图像作为第二路 网络的输入， 并将所述第一路网络的残差卷积块的特征引入所述第二路网络， 利用第二损 失函数L2进行约束。 2.根据权利要求1所述的闭环的端到端行人重识别背景抑制方法， 其特征在于， 所述第 一路网络和所述第二路网络采用ResNet5 0作为主干网络 。 3.根据权利要求1所述的闭环的端到端行人重识别背景抑制方法， 其特征在于， 还包括 第一路网络和第二路网络联合的损失函数L12， 整体的损失函数表达式为L＝L1+L12+L2+λ Lmask， 其中， λ表示平衡损失函数的超参数。 4.根据权利要求3所述的闭环的端到端行人重识别背景抑制方法， 其特征在于， 所述第 一损失函数、 所述第二损失函数以及所述第一路网络和第二路 网络联合的损失函数均包括 三元组损失函数和标签平 滑正则化的交叉熵损失函数。 5.根据权利要求4所述的闭环的端到端行人重识别背景抑制方法， 其特征在于， 所述三 元组损失函数的公式为 其中P代表 不同行人身份的数量， K0代表每个行人选择K0张不同的图像， 对于每张训练图像xa， 在和xa 相同身份的图像中选择一张相似度距离最大的图像xp作为正样本， 在和xa不同身份的图像 中选择一张相似度距离最小的 图像xn作为负样本， 为认为设定的阈值， d( ·，·)定义为欧 式距离， batch表示批处理的参数大小； 所述标签平滑正则化的交叉熵损失函数的公式为 其中ε∈[0， 1]， K是行人的类别 数， p(k)代表预测属于类别k的概率； 所述掩膜预测损失函数的公式为 其中B代表批处理大小， zn代表人体掩膜输出， mn代表人体掩膜的标签。 6.根据权利要求4所述的闭环的端到端行人重识别背景抑制方法， 其特征在于， 所述S3 中将所述第一路网络的残差卷积块的特征引入所述第二路网络， 具体表示为 其中 代表通道级联操作， 表示所述第二路网络获得所述第一路网络后的 特征， 表示所述第一路网络的特 征， 表示所述第二路网络的特 征。 7.一种计算机可读存储介质， 其上存储有一或多个计算机程序， 其特征在于， 该一或多 个计算机程序被 计算机处 理器执行时实施权利要求1至 6中任一项所述的方法。 8.一种闭环的端到端行 人重识别背景抑制系统， 其特 征在于， 所述系统包括： 第一路网络模块： 配置用于利用第 一路网络 中的残差卷积块提取输入的原始图像的特 征， 并通过第一损失函数L1进行约束； 掩膜预测模块： 配置用于通过Mask  r‑CNN获得所述特征的人体掩膜利用掩膜预测损失 函数Lmask修正掩膜的精准度；权　利　要　求　书 1/2 页 2 CN 114820687 A 2第二路网络模块： 配置用于将所述人体掩膜和所述原始图像相乘， 获得前景图像， 将所 述前景图像作为第二路 网络的输入， 并将所述第一路 网络的残差卷积块的特征引入所述第 二路网络， 利用第二损失函数L2进行约束。 9.根据权利要求8所述的闭环的端到端行人重识别背景抑制系统， 其特征在于， 所述第 一路网络和所述第二路网络采用ResNet5 0作为主干网络 。 10.根据权利要求8所述的闭环的端到端行人重识别背景抑制系统， 其特征在于， 还包 括第一路网络和第二路网络联合的损失函数L12， 整体的损失函数表达式为L＝L1+L12+L2+λ Lmask， 其中， λ表示平衡损失函数的超参数。 11.根据权利要求10所述的闭环的端到端行人重识别背景抑制系统， 其特征在于， 所述 第一损失函数、 所述第二损失函数以及所述第一路 网络和第二路网络联合的损失函数均包 括三元组损失函数和标签平滑正则化的交叉熵损失函数； 所述三元组损失函数的公式为 其中P代表不同行人身份 的数量， K0 代表每个行人选择K0张不同的图像， 对于每张训练图像xa， 在和xa相同身份的图像中选择一 张相似度距离最大的图像xp作为正样本， 在和xa不同身份的图像中选择一张相似度距离最 小的图像xn作为负样本， 为认为设定的阈值， d( ·，·)定义为欧式距离， bat ch表示批处理 的参数大小； 所述标签平 滑正则化的交叉熵损失函数的公式为 其中ε∈[0， 1]， K是行人的类别 数， p(k)代表预测属于类别k的概率； 所述掩膜预测损失函数的公式为 其中B代表批处理大小， zn代表人体掩膜输出， mn代表人体掩膜的标签。 12.根据权利要求11所述的闭环的端到端行人重识别背景抑制系统， 其特征在于， 将所 述第一路网络的残差卷积块的特征引入所述第二路网络， 具体表示为 其中 代表通道级联操作， 表示所述第二路网络获得所述第一路网络后的特征， 表示所 述第一路网络的特 征， 表示所述第二路网络的特 征。权　利　要　求　书 2/2 页 3 CN 114820687 A 3