(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210543251.9 (22)申请日 2022.05.19 (65)同一申请的已公布的文献号 申请公布号 CN 114661936 A (43)申请公布日 2022.06.24 (73)专利权人 中山大学深圳研究院 地址 518000 广东省深圳市南 山区科技园 南区粤海街道粤兴四道1号中山大学 深圳产学研大楼15层 专利权人 中山大学 (72)发明人 周凡　刘海亮　郑贵锋　苏航　 汤武惊　张怡　李泽原　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 杜锴健　任敏(51)Int.Cl. G06F 16/583(2019.01) G06F 16/587(2019.01) G06K 9/62(2022.01) G06F 9/48(2006.01) G06F 9/50(2006.01) G06V 10/74(2022.01) (56)对比文件 CN 113434573 A,2021.09.24 CN 110287360 A,2019.09.27 US 2015067295 A1,2015.0 3.05 CN 111428072 A,2020.07.17 审查员 陈丽娜 (54)发明名称 一种应用 于工业视觉中的图像检索的方法 及电子设备 (57)摘要 本申请适用于数据处理技术领域， 提供了应 用于工业视觉中的图像检索的方法及电子设备， 方法包括： 响应于用户发起的检索指令， 根据检 索指令内的基准图像以及自定义信息生成图像 检索任务； 基于图像检索任务生成多个模态的模 态特征； 多个模态包括： 轮廓模态、 结构 模态以及 文本特征模态； 分别为各个模态的模态特征配置 对应的检索子任务， 并将各个检索子任务发送给 与模态关联的分布式系统， 以通过分布式系统内 的分布式节 点对检索子任务进行检索处理； 接收 逻辑服务器 反馈的检索列表， 并基于检索列表生 成关于检索指令对应的检索结果。 采用上述方法 中， 能够从多维度对图像内容进行理解， 提高了 检索过程的准确性。 权利要求书3页 说明书15页 附图7页 CN 114661936 B 2022.10.14 CN 114661936 B 1.一种应用于 工业视觉中的图像 检索的方法， 其特 征在于， 包括： 响应于用户发起的检索指令， 根据 所述检索指令 内的基准图像以及自定义信 息生成图 像检索任务； 基于所述图像检索任务生成多个模态的模态特征； 所述多个模态包括： 轮廓模态、 结构 模态以及文本特 征模态； 分别为各个所述模态的模态特征配置对应的检索子任务， 并将各个所述检索子任务发 送给与所述模态关联的分布式系统， 以通过所述分布式系统内的分布式节点对所述检索子 任务进行检索处 理； 接收逻辑服务器反馈的检索列表， 并基于所述检索列表生成关于所述检索指令对应的 检索结果； 所述检索列 表是所述逻辑服务器在接收到各个所述分布式系统反馈的任务处理 结果后， 对所有所述任务处理结果进行逻辑合并处理后得到的； 所述检索结果包含符合所 述检索指令的目标图像； 所述分别为各个所述模态的模态特征配置对应的检索子任务， 并将各个所述检索子任 务发送给与所述模态关联的分布式系统， 以通过所述分布式系统内的分布式节点对所述检 索子任务进行检索处 理， 包括： 获取与所述模态关联的任务模板， 将所述模态特征添加到所述任务模板内， 以生成所 述检索子任务； 根据模态与服务系统的对应关系， 确定与所述模态关联的分布式系统， 并将所述检索 子任务发送给所述分布式系统； 所述分布式系统包括多个地图节点以及归约节点； 所述地 图节点用于从分布式系统内获取关于同一候选图像的数据块， 并基于所有 所述数据块还原 所述候选图像； 所述归约节点用于接 收所述地图节点反馈的所述候选图像， 并根据所述候 选图像生成所述模态对应的候选特征， 并计算所述候选特征与所述模态特征之间的相似 度， 并将所述相似度与预设的相似阈值比对， 生成关于所述候选图像的匹配结果， 将所有匹 配的候选图像生成所述任务处理结果， 并将所述任务处理结果发送给所述逻辑服务器； 其 中， 所述地图节点复用于各个所述模态的所述分布式系统。 2.根据权利要求1所述的方法， 其特征在于， 所述归约节点在计算所述候选特征与 所述 模态特征之间的相似度时， 所述相似度可以表示 为： 其中， SimilarLv为所述相似度； SMod （i） 为所述模态特征中第i个特征值； BMod （i） 为所 述候选特征 中第i个特征值； N为所述模态包含的特征值总数； 为归一化后在 相同维度下模态特征与候选特征对应 的特征值之间的差值； 为 的权　利　要　求　书 1/3 页 2 CN 114661936 B 2均值。 3.根据权利要求1所述的方法， 其特征在于， 所述分别为各个所述模态的模态特征配置 对应的检索子任务， 并将各个所述检索子任务发送给与所述模态关联 的分布式系统， 以通 过所述分布式系统内的分布式节点对所述检索子任务进行检索处 理， 包括： 基于各个模态预设的检索次序， 将处于第M级模态对应的所述检索子任务发送给处于 第M级模态对应的所述分布式系统； 所述M的初始值 为1； 若接收到所述处于第M级模态对应的分布式系统反馈的检索完成指令， 则判断所述M的 值是否大于所述检索次序的最大值； 所述检索完成指令是在所述处于第M级模态对应的分 布式系统得到所述任务处 理结果时生成的； 若所述M的值小于所述检索次序的最大值， 则向所述处于第M级模态对应的分布式系统 发送第一结果转发指令， 并增加所述M的值， 返回执行所述基于各个模态预设的检索次序， 将处于第M级模态对应的所述检索子任务发送给处于第M级模态对应的所述分布式系统的 操作； 所述第一结果转发指令包含第M+1级模态对应的分布式系统的通信地址， 以使第M级 模态对应的分布式系统将所述任务处 理结果发送给第M+1级模态对应的分布式系统； 若所述M的值大于或等于所述检索次序的最大值， 则向所述处于第M级模态对应的所述 分布式系统发送第二结果转发指令， 以使处于第M级模态对应的分布式系统的任务处理结 果发送给 所述逻辑 服务器。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述响应于用户发起的检索指 令， 根据所述检索指令内的基准图像以及自定义信息生成图像 检索任务， 包括： 提取所述检索指令的所述自定义信息， 确定所述自定义信息指定的检索类型； 若所述检索类型为外观 专利检索类型， 则根据专利关键词 调整语义识别算法； 将所述自定义信息导入到所述语义识别算法， 生成在多个专利维度的维度特 征值； 根据所述基准图像以及所述维度特 征值， 生成所述图像 检索任务。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述图像检索任务生成多个模态 的模态特 征， 包括： 根据所述基准图像对应的图像视角以及所述自定义信 息所指定的产品类型， 生成所述 基准图像的轮廓划分算法； 所述轮廓划分算法是根据所述产品类型包含的产品部件确定 的； 将所述基准图像导入所述轮廓划分算法， 得到多个图像区域， 并分别确定各个图像区 域的轮廓特 征； 根据各个所述轮廓特征以及与所述轮廓特征对应的所述产品部件之间的关联关系， 生 成关于所述轮廓模态的所述模态特 征。 6.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述接收逻辑服务器反馈的检索 列表， 并基于所述检索列表生成关于所述检索指令对应的检索结果， 包括： 向所述分布式系统发送所述检索列表包含的文件标识的搜索指令， 以通过所述分布式 系统内的地图节点获取与所述文件标识在多个搜索维度对应的多个目标数据块； 所述搜索 维度是基于所述搜索指令的搜索类型确定的； 接收所述分布式系统反馈的各个目标数据块， 生成关于所述文件标识对应的预览数 据；权　利　要　求　书 2/3 页 3 CN 114661936 B 3