(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210838894.6 (22)申请日 2022.07.18 (71)申请人 翻车信息科技 （南京） 有限公司 地址 211500 江苏省南京市六合区雄州街 道王桥路59号 (72)发明人 常征　蒋哲宇　 (74)专利代理 机构 南京利丰知识产权代理事务 所(特殊普通 合伙) 32256 专利代理师 陈志军 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于目标检测和度量学习的跨域商品 匹配方法 (57)摘要 本发明公开了一种基于目标检测和度量学 习的跨域商品匹配方法， 涉及数据处理技术领 域， 包括， 建立已知商品的数据集合； 获取图像中 待匹配商品所在区域的集合， 并判断该集合的长 度是否大于0； 计算待匹配商品的表征向量集与 已知商品的数据集合中已知商品表征向量的欧 式距离； 对于待匹配商品x， 筛选出与其距离最近 的k个已知商品的表征向量； 将筛选出的表征向 量所对应的商品集合作为待匹配商品x的匹配结 果。 本发明能够在未知商品的属性信息的情况 下， 使用包含 该未知商品的图片实现非电商领域 和电商领域间跨域的商品匹配。 并且， 若该图片 中同时包含其他的未知商品， 也能够通过目标检 测模型和表征模型进行匹配 。 权利要求书2页 说明书6页 附图3页 CN 115311476 A 2022.11.08 CN 115311476 A 1.一种基于目标检测 和度量学习的跨 域商品匹配方法， 其特 征在于： 包括， 建立已知商品的数据集 合， 所述已知商品的数据集 合中包括已知商品的表征向量； 对于包括含待匹配商品的图像， 获取图像中待匹配商品所在区域的集合， 并判断该集 合的长度是否大于0， 若集合的长度等于0， 则匹配流程结束， 若集合的长度大于0， 则基于待 匹配商品所在区域的集 合获取待匹配商品的表征向量 集； 计算待匹配商品的表征向量集与已知商品的数据集合中已知商品表征向量的欧式距 离； 对于待匹配商品x， 筛 选出与其距离最近的k个已知商品的表征向量； 将筛选出的表征向量所对应的商品集 合作为待匹配商品x的匹配结果。 2.根据权利要求1所述的方法， 其特 征在于： 所述建立已知商品的数据集 合包括， 建立已知商品的数据集合P={Pi| Pi =(Idi， Imgi)}， 其中， Idi是商品Pi的唯一标识， Imgi 是商品Pi的图像， 且Imgi中仅包含单一商品Pi； 采用目标检测模型Mo获取Imgi中商品所在区域集合AP={APi|APi=(x1i， y1i， x2i， y2i)}， 其中， （x1i， y1i） 为区域APi左上角的坐标， （x2i， y2i） 为区域APi右下角的坐标， 然后根据APi 对Imgi进行裁剪， 得到裁剪后的图像集 合ImgP={ImgPi}； 采用商品表征模型Mr获取图像集 合ImgP的表征向量 集VP={VPi}； 将已知商品的数据集 合P扩充为P={Pi| Pi =(Idi， Imgi， APi， VPi)}。 3.根据权利要求1所述的方法， 其特征在于： 所述对于包括含待匹配商品的图像， 获取 图像中待匹配商品所在区域的集 合包括， 对于包括含待匹配商品的 图像Imgunkown， 采用目标检测模型Mo获取待匹配商品所在区域 集合AU={AUi|AUi=(x1i， y1i， x2i， y2i)}， m=size （AU） ， 其 中， （x1i， y1i） 为区域AUi左上角的坐 标， （x2i， y2i） 为区域AUi右下角的坐标， m为 集合AU的长度。 4.根据权利要求3所述的方法， 其特征在于： 所述基于待 匹配商品所在区域的集合获取 待匹配商品的表征向量 集包括， 根据AU对进行Imgunkown裁剪， 得到裁剪后的图像集 合ImgU={ImgUi}， i∈[1， m ]; 采用商品表征模型Mr获取图像集 合ImgU的表征向量 集VU={VUi}， i∈[1， m ]。 5.根据权利要求1所述的方法， 其特征在于： 在所述筛选出与其距离最近的k个已知商 品的表征向量之后， 还 包括， 根据距离阈值 排除欧式距离过远的筛 选结果， 得到最终的 个表征向量。 6.一种基于目标检测 和度量学习的跨 域商品匹配装置， 其特 征在于： 包括， 数据库模块， 用于储 存已知商品的数据； 模型训练模块， 用于对商品数据进行筛选、 加工以及数据 标注， 以获得目标检测模型和 商品表征模型 的训练数据， 并使用训练数据分别训练目标检测模型和商品表征模型， 并保 存训练好的模型； 数据预处理模块， 用于使用训练完成的目标检测模型和商 品表征模型计算出所述数据 库模块中已知商品的表征向量， 并将其储 存至所述数据库模块中； 商品匹配模块， 用于使用训练完成的目标检测模型和商品表征模型计算待匹配商品的 表征向量， 并使用该表征向量与所述数据库模块中已知商品的表征向量作相似度计算， 并权　利　要　求　书 1/2 页 2 CN 115311476 A 2根据相似度进行商品匹配， 返回匹配结果。 7.根据权利要求6所述的装置， 其特征在于： 所述已知商品的数据包括商品标题、 商品 图像、 商品id。 8.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于： 所述处理器执行所述程序时实现如权利要求 1~5中任一项 所述的方法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于： 所述程序被处理器 执行时实现如权利要求1~5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115311476 A 3