(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210791576.9 (22)申请日 2022.07.07 (71)申请人 广州启生信息技 术有限公司 地址 510623 广东省广州市天河区珠 江东 路13号1101室 （仅限办公） (72)发明人 李晓鹏　田丹　欧锦华　王志广　 (51)Int.Cl. G06F 16/53(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/42(2022.01) G06V 10/74(2022.01) (54)发明名称 一种根据文本查找图片的方法和装置 (57)摘要 本发明公开了一种根据文本查找图片的方 法， 包括以下步骤： 获取条件文本， 根据条件文本 生成条件图片； 提取条件图片的条件图片特征向 量； 调用向量搜索引擎， 在向量数据库提取符合 检索条件的结果向量特征信息， 结果向量特征信 息包括图片索引信息和结果向量特征； 检索条件 为， 条件图片特征向量与结果向量特征的相似性 小于指定阀值； 提取图片索引信息对应的结果图 片数据。 根据上述技术方案， 可 以突破对图片标 注的依赖， 对 图片进行统一的特征管理， 并在文 字查找图片 的实现中， 减少服务端的压力， 查询 查询过程更高效、 更准确。 权利要求书1页 说明书5页 附图4页 CN 115062170 A 2022.09.16 CN 115062170 A 1.一种根据文本查找图片的方法， 其特 征在于， 包括以下步骤： 获取条件文本， 根据所述条件文本生成条件图片； 提取所述条件图片的条件图片特 征向量； 调用向量搜索引擎， 在 向量数据库提取符合检索条件的结果向量特征信息， 所述结果 向量特征信息包括图片索引信息和结果向量特征； 所述检索条件为， 所述条件图片特征向 量与所述结果向量特 征的相似性小于指定阀值； 提取所述图片索引信息对应的结果图片数据。 2.根据权利要求1所述的根据文本查找图片的方法， 其特 征在于， 所述向量数据库用于存 储图片的特 征向量、 图片索引。 3.根据权利要求1所述的根据文本查找图片的方法， 其特征在于， 所述根据所述条件文 本生成条件图片的方法， 支持文字转图片神经网络模型。 4.根据权利要求1所述的根据文本查找图片的方法， 其特征在于， 所述条件图片特征向 量为1×512的特征向量数据， 通过可以提取图片特征的卷积神经网络模型， 从所述条件图 片提取， 所述卷积神经网络模型包括： VG G16、 ResNet。 5.根据权利要求1所述的根据文本查找图片的方法， 其特征在于， 所述相似性的计算方 式支持包括余弦距离、 汉明距离、 欧氏距离； 所述相似性用于排序， 所述相似性的绝对值越 小表示越接 近； 确定所述阀值， 用于判断所述检索条件是否满足。 6.一种根据文本查找图片的装置， 其特 征在于， 包括： 条件文本处 理模块， 用于根据接收的条件文本生成条件图片； 图片特征向量提取模块， 用于提取 所述条件图片的条件图片特 征向量； 向量搜索模块， 用于与向量搜索引擎交互， 从向量数据库获取符合检索条件的结果向 量特征信息， 所述结果向量特征信息包括图片索引信息和结果向量特征； 所述检索条件为， 所述条件图片特 征向量与所述结果向量特 征的相似性小于指定阀值； 图片信息提取模块， 用于提取 所述图片索引信息对应的结果图片数据。 7.根据权利要求6所述的根据文本查找图片的装置， 其特 征在于， 所述向量数据库用于存 储图片的特 征向量、 图片索引。 8.根据权利要求6所述的根据文本查找图片的装置， 其特征在于， 所述条件文本处理模 块支持文字转图片神经网络模型。 9.根据权利要求6所述的根据文本查找图片的装置， 其特征在于， 所述条件图片特征向 量为1×512的特征向量数据， 通过可以提取图片特征的卷积神经网络模型， 从所述条件图 片提取， 所述卷积神经网络模型包括： VG G16、 ResNet。 10.根据权利要求6所述的根据文本查找图片的装置， 其特征在于， 所述向量搜索引擎 包括计算模块， 用于计算每个图片的特征向量数据的相似性， 所述计算模块支持的计算方 式包括余弦距离、 汉明距离、 欧氏距离； 所述相似性用于排序， 所述相似性的绝对值越小表 示越接近。权　利　要　求　书 1/1 页 2 CN 115062170 A 2一种根据文本查找图片的方 法和装置 技术领域 [0001]本发明涉及文本和图片处理领域， 具体而言， 涉及一种根据文本查找图片的方法 和装置。 背景技术 [0002]现对图片的检索需求越来越多， 例如在图片素材库 中输入文字查找对应的图片。 图片库服务端在响应图片检索前， 需要在图库对图片进行处理， 如为了方便用户能方便搜 索图片， 需要对图片进 行大量标签的标注， 例如录入图片的时候自动生成标签进 行标注。 然 而一张图片涉及的标签非常多， 特别是对于中文来说， 表达方式比较多， 大量的标签不容易 管理， 对图片的标注也不容易实现完整和全面； 另一方面， 对图片进行标注， 目前采用人工 标注或者A I标注的方式， 然而A I标注也建立在大量人工标注的基础上进 行大量的模型训练 才可实现； 同时， 而由于每张图片的标签数量、 特征五花八门、 随心所欲， 无法实现统一管 理， 其准确性和完整性需要不断地进行维护， 因此针对图片库中海量图片时， 其标签的维 护、 检索也会 对后台服 务带来额外的负担 。 [0003]因此需要有一种图片库存储的模式， 突破对图片标注的依赖， 对图片进行统一的 特征管理， 并在文字查找图片的实现中， 减少服 务端的压力， 使查询过程更高效、 更准确。 发明内容 [0004]为实现上述目的， 本申请提供了一种根据文本查找图片的方法， 包括以下步骤： [0005]获取条件文本， 根据条件文本生成条件图片； [0006]提取条件图片的条件图片特 征向量； [0007]调用向量搜索引擎， 在向量数据库提取符合检索条件的结果向量特征信息， 结果 向量特征信息包括图片索引信息和结果向量特征； 检索条件为， 条件图片特征向量与结果 向量特征的相似性小于指定阀值； [0008]提取所述图片索引信息对应的结果图片数据。 [0009]其中， 向量数据库用于存 储图片的特 征向量、 图片索引。 [0010]进一步的， 根据条件文本生成条件图片的方法， 支持文字转图片神经网络模型。 [0011]其中， 条件图片特征向量为1 ×512的特征向量数据， 通过可以提取图片特征的卷 积神经网络模型， 从条件图片提取， 其卷积神经网络模型包括： VG G16、 ResNet。 [0012]进一步的， 相似性的计算方式支持包括余弦距离、 汉明距离、 欧氏距离； 其中相似 性用于排序， 相似性的绝对值越小表示越接 近； 该阀值， 用于判断检索条件是否满足。 [0013]另一方面， 本申请提供了一种根据文本查找图片的装置， 包括： [0014]条件文本处 理模块， 用于根据接收的条件文本生成条件图片； [0015]图片特征向量提取模块， 用于提取 条件图片的条件图片特 征向量； [0016]向量搜索模块， 用于与向量搜索引擎交互， 从向量数据库获取符合检索条件的结 果向量特征信息， 结果向量特征信息包括图片索引信息和结果向量特征； 其中检索条件为，说　明　书 1/5 页 3 CN 115062170 A 3