(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555319.5 (22)申请日 2022.05.19 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 袁景凌　朱慧琳　钟忺　杨铮伟　 向尧　 (74)专利代理 机构 武汉开元知识产权代理有限 公司 42104 专利代理师 刘琳 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06F 16/583(2019.01)G06F 16/538(2019.01) G06N 3/08(2006.01) (54)发明名称 细粒度结合特征相似度检索的跨域人群计 数方法及系统 (57)摘要 细粒度结合特征相似度检索的跨域人群计 数方法及系统。 本发明提出了一种结合特征细粒 度检索的跨域人群计数方法， 包括步骤S1提取源 域和目标域图片的细密度特征元素； S2寻找源域 和目标域的域间关系； S3对目标域细粒度块进行 密度图预测， 将预测值与所述源域细粒度块的匹 配值进行融合处理， 得到伪标签， 将目标域图片 采用滑动窗口取样， 最终整张图的人数计算结果 为由这张图分成的所有小块人数的总和。 该方法 探索了有标签数据与无标签真实数据之间人群 分布的特征级细粒度相似性， 以弥补跨域差距， 能够对无标签块进行标记， 使源域靠近目标域， 并反馈给模型， 以减少域的差异； 并通过微调的 方式更新分布感知模型， 提高了分布对齐的性 能。 在模型推理过程中， 不同领域之间的差距逐 渐缩小， 得到了很好的准确率， 能够使用于现实 场景。 权利要求书3页 说明书7页 附图4页 CN 114842422 A 2022.08.02 CN 114842422 A 1.一种细粒度结合特征相似度检索的跨域人群计数方法， 其特征在于： 所述方法包括 如下步骤： S1提取细密度特征元素： 对源域和目标域图片分别进行细密度人群分布采集， 并使用 滑动窗口策略获取细密度块， 提取源域和目标域的细粒度特征元素， 所述源域指带人群计 数标签的深度学习图片数据集， 所述目标域指待检测的现实场景图片数据集； S2寻找域间关系： 构建源域和目标域的细粒度特征元素数据库， 计算源域中每个元素 和数据库中元素的相似性， 根据给定的目标域细粒度特征检索出包含目标域元素与其相似 性最高的源域元 素； S3人群计数预测： 对所述目标域细粒度块进行密度图预测， 将预测值与所述源域细粒 度块的匹配值进 行融合处理， 得到伪标签， 将目标域图片的长边和短边 都归一化为 128的倍 数， 再将图片采用滑动窗口取样， 最终每张图片的计数总和为由每张图片切成的小块的计 数和。 2.根据权利要求1所述的细粒度结合特征相似度检索的跨域人群计数方法， 其特征在 于： 步骤S1包括如下步骤： S11细粒度人群分布采集： 利用尺寸为(128， 128)步长为(64， 64)的滑动窗口在整幅图 上滑动得到细粒度块， 细粒度块的集 合定义为： S12细粒度特征提取： 使用位置敏感的主干网络HRNet， 并采用源域中有标签的小块对 特征提取模型进行初始化， 将特征提取模型定义为Mr， r代表迭代次数， 初始化模型记作M0； 源域特征和目标域特征分别定义为： 其中 和 分别代表 第i个源域特 征和第j个目标域特 征； S13对所述特征提取模型使用独立结构相似损失函数和均方差损失进行优化， 所述损 失函数如公式(4)所示， 其中独立结构相似损失如公式(1)所示， LS如公式(2)所示， 结构损 失如公式(3)所示： LS＝1‑SSIM(E,GT)                           (2) L＝LMSE+ ηLI‑S                           (4) N是总人数， E是预测图， GT是ground ‑truth， μA和σB分别是E的平均值和GT的标准差， σA·B 表示E和GT的协方差， γ1和γ2设置为0.0 001和0.0009。 3.根据权利要求2所述的细粒度结合特征相似度检索的跨域人群计数方法， 其特征在 于： 步骤S2包括以下步骤： S21通过寻找高相似度 方法对所述源域和目标域中的所有细粒度 特征元素进行扩散构 成数据库， 对目标域中的细粒度特 征在数据库中寻找相似块， 得到最终的特 征序列 S22选择 中的rank1记作 其相似度得分记作 设置阈值λ， 筛选 的特征 对， 记作 权　利　要　求　书 1/3 页 2 CN 114842422 A 24.根据权利要求3所述的细粒度结合特征相似度检索的跨域人群计数方法， 其特征在 于： 步骤S21包括以下步骤： S211图的构建： 将所述源域和目标域的所有特征作为一个集合， 定义为： 采用局部约束， 使图中只包 含两两相似性， 定义亲和矩阵： A＝aij； S212图归一 化： 将所述亲和矩阵归一 化为S， 归一 化过程如公式(5)所示： D＝∑aij                             (6) S213将归一 化的亲和矩阵S分为四块， 如公式(7)所示。 其中， Smm Smd Sdm Sdd分别代表源域到源域， 源域到目标域， 目标域到源域， 目 标域到目标域的相似度， 其中， d＝m+n； S214随机游走： 执行随机游走直到收敛为封闭解， 随机游走中的每一次迭代的状态定 义为： 每一次迭代策略如公式(8)所示： ft+1＝α Sft+(1‑α )f0, α ∈(0,1)                  (8) 其中， α 是随机游走到下一 步的概率， (1‑α )是从初始化状态重新 开始游走的概 率； S215得封闭解： 由步骤S214随机游走得到封闭解f*如公式(9)所示， 包含了源域中每个 元素和数据库中元 素的相似性， 并用作重排名的分数， 如公式(10)所示： f*＝(1‑α )(1‑α S)f0                            (9) S216特征检索： 给定目标域细 粒度特征， 通过KNN的方法， 得到最终的检索 结果， 检索 结 果包含了目标域元 素与其相似性 最高的源域元 素。 5.根据权利要求3所述的细粒度结合特征相似度检索的跨域人群计数方法， 其特征在 于： 步骤S3包括如下步骤： S31伪标签生成： 对于所述目标域的细粒度块， 进行密度图预测， 记作 对于源域的细 粒度块， 进行ground ‑truth匹配， 记作 并对 和 进行融合并进行处理， 得到最终 的伪标签φij； S32模型微调： 将目标域细粒度块 与生成伪标签lij组成块数据集Pr， 对模型进行微调 程， 迭代直到模型收敛 结束； S33从细粒度到粗粒度： 将目标域测试集中图片的长边与短边都归一化为128的倍数， 再将图片和ground ‑truth采用尺寸为(128,128),步长为(128,128)的滑动窗口进行采样， 得到的计数 预测结果 为所有小块预测人 数的和。 6.根据权利要求5所述的细粒度结合特征相似度检索的跨域人群计数方法， 其特征在 于： 步骤S31包括以下步骤： S311目标域密度图预测： 采用FIDT的方法对目标域密度图进行预测， 其过程如公式 (11)所示：权　利　要　求　书 2/3 页 3 CN 114842422 A 3