(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221082693 3.0 (22)申请日 2022.07.13 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 孔伟杰　蒋杰　蔡成飞　赵文哲　 王红法　涂荣成　刘威　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06F 16/783(2019.01) G06V 20/70(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 信息检索方法、 模 型训练方法、 装置、 设备及 存储介质 (57)摘要 本申请公开了一种信息检索方法、 模 型训练 方法、 装置、 设备及存储介质， 属于人工智能技术 领域。 该方法包括： 获取输入信息， 输入信息的信 息模态为第一模态； 调用事件表征预测模型对输 入信息进行预测处理， 得到输入信息的输入事件 表征； 计算输入事件表征和检索事件表征之间的 事件相似度， 检索信息的信息模态为第二模态； 在事件相似度超 过相似度门限的情况下， 将检索 事件表征对应的检索信息确定为输入信息的检 索结果。 本申请通过获取输入事件表征和检索事 件表征， 充分提取了输入信息和检索信息中的语 义信息； 通过比较输入事件表征和检索事件表征 之间的区别， 避免信息模态不同造成的输入信息 和检索信息之间的区别， 提升了跨模态信息之间 的检索效果。 权利要求书4页 说明书25页 附图8页 CN 115203476 A 2022.10.18 CN 115203476 A 1.一种信息检索方法， 其特 征在于， 所述方法包括： 获取输入信息， 所述输入信息的信息模态为第一模态； 调用事件表征预测模型对所述输入信 息进行预测处理， 得到所述输入信 息的输入事件 表征， 所述输入 事件表征用于指示所述输入信息中的事 件信息； 计算所述输入事件表征和检索事件表征之间的事件相似度， 所述检索事件表征是检索 信息对应的事 件表征， 所述检索信息的信息模态为第二模态； 在所述事件相似度超过相似度门限的情况下， 将所述检索事件表征对应的检索信 息确 定为所述输入信息的检索结果。 2.根据权利要求1所述的方法， 其特征在于， 所述事件表征预测模型包括与 所述第一模 态对应的第一预测网络； 所述调用事件表征预测模型对所述输入信 息进行预测处理， 得到所述输入信 息的输入 事件表征， 包括： 在所述输入信 息的信息模态为所述第 一模态的情况下， 调用所述第 一预测网络对所述 输入信息进行 预测处理， 得到所述输入信息的所述输入 事件表征。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一预测网络包括第 一模态编码器和 第一事件生成器， 所述输入信息包括至少两个输入子信息； 所述在所述输入信 息的信息模态为所述第 一模态的情况下， 调用所述第 一预测网络对 所述输入信息进行 预测处理， 得到所述输入信息的所述输入 事件表征， 包括： 在所述输入信 息的信息模态为所述第 一模态的情况下， 调用所述第 一模态编码器对至 少两个所述输入子信息逐个进行编码处理， 得到所述输入信息的输入特征序列， 所述输入 特征序列包括与至少两个所述输入子信息对应的至少两个输入特 征表示； 调用所述第 一事件生成器对所述输入特征序列进行预测处理， 得到所述输入信 息的所 述输入事件表征， 所述输入事件表征包括所述输入信息的至少一个第一模态事件的表征信 息。 4.根据权利要求3所述的方法， 其特征在于， 所述调用所述第 一事件生成器对所述输入 特征序列进行 预测处理， 得到所述输入信息的所述输入 事件表征， 包括： 调用所述第 一事件生成器对所述输入特征序列进行预测处理， 得到所述输入信 息的输 入权重信息， 所述输入权重信息用于描述所述输入信息中的至少两个输入子信息在至少一 个第一模态事 件中的权 重； 根据所述输入权重信息和所述输入特征序列， 确定所述输入信息的所述输入事件表 征。 5.根据权利要求2所述的方法， 其特征在于， 所述事件表征预测模型还包括与 所述第二 模态对应的第二预测网络； 所述方法还 包括： 在所述检索信 息的信息模态为所述第 二模态的情况下， 调用所述第 二预测网络对所述 检索信息进行 预测处理， 得到所述检索信息的所述检索事 件表征。 6.根据权利要求5所述的方法， 其特征在于， 所述第 二预测网络包括第 二模态编码器和 第二事件生成器， 所述检索信息包括至少两个 检索子信息； 所述在所述检索信 息的信息模态为所述第 二模态的情况下， 调用所述第 二预测网络对权　利　要　求　书 1/4 页 2 CN 115203476 A 2所述检索信息进行 预测处理， 得到所述检索信息的所述检索事 件表征， 包括： 在所述输入信 息的信息模态为所述第 二模态的情况下， 调用所述第 二模态编码器对至 少两个所述检索子信息逐个进行编码处理， 得到所述检索信息的检索特征序列， 所述检索 特征序列包括与至少两个所述检索子信息对应的至少两个 检索特征表示； 调用所述第 二事件生成器对所述检索特征序列进行预测处理， 得到所述检索信 息的所 述检索事件表征， 所述检索事件表征包括所述检索信息的至少一个第二模态事件的表征信 息。 7.根据权利要求6所述的方法， 其特征在于， 所述调用所述第 二事件生成器对所述检索 特征序列进行 预测处理， 得到所述检索信息的所述检索事 件表征， 包括： 调用所述第 二事件生成器对所述检索特征序列进行预测处理， 得到所述检索信 息的检 索权重信息， 所述检索权重信息用于描述所述检索信息中的至少两个检索子信息在至少一 个第二模态事 件中的权 重； 根据所述检索权重信息和所述检索特征序列， 确定所述检索信息的所述检索事件表 征。 8.根据权利要求1至7任一所述的方法， 其特征在于， 所述输入事件表征包括所述输入 信息的至少一个第一模态事件的表征信息； 所述检索 事件表征包括所述检索信息的至少一 个第二模态事 件的表征信息； 所述计算所述输入 事件表征和检索事 件表征之间的事 件相似度， 包括： 计算所述第一模态事件的表征信息与所述第二模态事件的表征信息之间的相关性得 分； 根据所述相关性得分， 构建得到所述事 件相似度。 9.根据权利要求1所述的方法， 其特征在于， 所述第一模态为文本模态， 所述第二模态 为视频模态； 所述获取输入信息， 包括： 获取文本信息； 所述调用事件表征预测模型对所述输入信 息进行预测处理， 得到所述输入信 息的输入 事件表征， 包括： 调用所述事件表征预测模型对所述文本信 息进行预测处理， 得到所述文本信 息的文本 事件表征； 所述计算所述输入 事件表征和检索事 件表征之间的事 件相似度， 包括： 计算所述文本事件表征和视频事件表征之间的事件相似度， 所述视频事件表征是视频 信息对应的事 件表征； 所述在所述事件相似度超过相似度门限的情况下， 将所述检索事件表征对应的检索信 息确定为所述输入信息的检索结果， 包括： 在所述事件相似度超过相似度门限的情况下， 将所述视频事件表征对应的视频信 息确 定为所述文本信息的检索结果。 10.一种事件表征预测模型的训练方法， 其特征在于， 所述方法用于训练权利要求1至9 任一所述的方法中的事 件表征预测模型， 所述方法包括： 获取样本信息组， 所述样本信息组包括第一信息组和第二信息组， 所述第一信息组包权　利　要　求　书 2/4 页 3 CN 115203476 A 3