(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210580704.5 (22)申请日 2022.05.26 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 戴大伟　刘颖格　唐晓宇　李玉堂　 夏书银　王国胤　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 卢胜斌 (51)Int.Cl. G06F 16/583(2019.01) G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于草图局部特征和全局特征匹配的 图像检索方法 (57)摘要 本发明属于动态 草图检索领域， 具体涉及一 种基于草图局部特征和全局特征匹配的图像检 索方法， 该方法包括： 获取待检索的手绘草图序 列及对应的草图块， 将草图序列和草图块输入到 训练好的神经网络模型中得到草图的嵌入向量 和草图块的嵌入向量； 计算 嵌入向量输入数据的 欧式距离； 将计算出的欧式距离进行加权融合， 根据融合后的欧式距离返回检索到top ‑k张图 片， 得到草图的检索结果； 改进的神经网络模型 包括完整图像 分支和切块图像分支； 完整图像分 支用于对完整的草图进行处理， 切块图像分支用 于对草图块进行处理； 本发明针对序列草图笔画 信息稀少的问题， 使用草图分割的方法搭建不同 分支的网络模 型， 减少草图笔画信息稀少带来的 准确率下降的问题。 权利要求书2页 说明书7页 附图2页 CN 114860980 A 2022.08.05 CN 114860980 A 1.一种基于草图局部特征和全局特征匹配的图像检索方法， 其特征在于， 该方法包括： 实时获取待检索的手绘草图序列以及手绘草图序列对应的草图块； 将手绘草图序列和草图 块输入到训练好的改进的神经网络模型中， 得到草图的嵌入向量和草图块的嵌入向量； 计 算草图嵌入向量与输入的草图序列的欧式距离， 计算草图块的嵌入向量与输入的草图块的 欧式距离； 对草图的欧式距离和草图块的欧式距离进行加权融合， 根据融合后的欧式距离 返回检索到top ‑k张图片， 得到草图的检索结果； 改进的神经网络模型包括完整图像分支和 切块图像分支， 完整图像分支和切 块图像分支均采用骨干模型， 其中骨干模型包括预训练 网络、 注意力 层以及降维层； 完整图像分支用于对完整的草图进 行处理， 切块图像 分支用于 对草图块进行处 理。 2.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 对改进的神经网络模型进行训练的过程包括： S1： 构建训练集， 训练集中的数据包括手绘草图和手绘草图对应的草图块； S2： 将训练集中完整的手绘草图和对应的手绘草图块分别输入到骨干模型中， 采用三 重损失对骨干模型进行 预训练； S3： 将完整的草图按照笔画数将其渲染成一个含有n张草图的渐进式草图序列， 该草图 序列中每一张草图包 含的笔画信息由少到多； S4： 将渲染后的草图序列中的每一张图像进行切分成m块， 并记录每一个草图块的笔画 信息所占比例k； S5： 将含有n张草图的草图序列输入到完整图像分支中， 得到草 图的嵌入向量； 采用三 重损失函数计算 草图序列中每一张草图的嵌入向量与目标图像的嵌入向量之间的损失； S6： 将对应的m张草 图序列块同时输入到切块 图像分支中， 得到得到m个草图块的嵌入 向量； 计算m个草图块的嵌入向量和对应的m个图像块的嵌入向量之间的误差； 根据比例k将 m个误差进行融合， 得到切块图像分支的损失； S7： 将草图序列中所有草图的损失和草图块的损失进行融合， 得到模型的损失函数， 将 模型的损失函数进行反向传播， 调整模型中的参数； S8： 获取下一张目标图像的草 图分支， 重复上述步骤S3 ‑S7， 直至模型达到训练次数上 限。 3.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 构建训练集的过程包括： 根据绘制一幅图像的草图所需的笔画数将对应图像的 草图渲染成所需要的n张草图序列， 渲染完成后对 数据集进 行切分， 将数据集中的所有图像 以及渲染后的草图序列均切分成m份， 对切分后的数据进行集合， 得到数据集； 数据集由完 整图像集和切块图像集组成， 完整图像集包含多张完整图像以及对应图像按照时间顺序渲 染成的n张手绘草图序列集组成， 切 块图像集中的图像是 由完整图像集中的每一张图片切 分成m块组成。 4.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 提取完整图像集中每一张草图的嵌入向量的过程包括： 将已经渲染好的草图序 列按照笔画由少 到多的顺序输入到固定参数 的预训练网络层f1和完整图像分支的注意力 层f2， 得到草图的特征向量； 将经过f1和f2提取到的特征向量输入到模型中完整图像分支 的降维层f3中进行降维处 理， 得到草图的嵌入向量。权　利　要　求　书 1/2 页 2 CN 114860980 A 25.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 获取草图块的嵌入向量的过程包括： 将草图块输入到预训练网络层f1和切 块图 像分支的注意力层f2 ’中， 得到草图块的特征向量； 将经过f1和f2 ’提取到的特征向量输入 到切块图像分支的降维层f3 ’中进行降维处 理， 得到m个草图块的嵌入向量。 6.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 采用三重损失函数计算 草图的嵌入向量与目标图像的嵌入向量的损失函数为： 其中， tripleLossComplete表示完整草图的三重态损失， N表示渲染后草图序列中的草 图张数， 表示第i张草图的嵌入向量， 表示中第i张草图， 表示草图的目标图 像的嵌入向量， 表示目标图像， 表示草图的负样本的嵌入向量， 表示草图的负样 本。 7.根据权利要求2所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 计 算草图块的嵌入向量和对应图像块的嵌入向量的误差表达式为： 其中， 表示第i块草图的嵌入向量， 表示第i块草图块， 表示草图的目标图 像的嵌入向量， 表示第i块草图块对应的目标图像块， 表示草图的负样本的嵌入向 量， 表示对应的负样本图像块； tripleLossPart表示草图块的三重态损失， M表示完整草 图切分的块数。 8.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 模 型的损失函数表达式为： 其中， tripleLossComplete表示完整草图的三重态损失， N表示渲染后草图序列中的草 图张数， t ripleLossPart表示切块 草图的三重态损失， M表示 草图切分的块数。 9.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 计算 草图块的嵌入向量与输入的草图块的欧式距离的公式为： Dlocal＝W31*d1+W32*d2+W33*d3+……+W3m*dm 其中， W3m表示第m个草图块的像素值在完整草图的像素值的比值， 且W31+W32+W33+……+ W3m＝1； dm表示第m个草图块与对应的输入草图块的欧式距离 。 10.根据权利要求1所述的一种基于草图局部特征和全局特征匹配的图像检索方法， 其 特征在于， 对草图的欧式距离和草图块的欧式距离进行加权处 理融合处 理的公式为： D＝W1*Dcomplete+W2*Dlocal 其中， W1和W2均表示常量， 且W1+W2＝1； Dcomplete表示草图嵌入 向量与输入的草图序列的 欧式距离， Dlocal表示草图块的嵌入向量与输入的草图块的欧式距离 。权　利　要　求　书 2/2 页 3 CN 114860980 A 3