(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210865299.1 (22)申请日 2022.07.22 (65)同一申请的已公布的文献号 申请公布号 CN 115080801 A (43)申请公布日 2022.09.20 (73)专利权人 山东大学 地址 250100 山东省济南市历城区山大南 路27号 (72)发明人 罗昕　付婷　詹雨薇　陈振铎　 许信顺　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06F 16/901(2019.01) G06F 16/903(2019.01) G06F 21/62(2013.01) G06V 10/74(2022.01)(56)对比文件 CN 111914113 A,2020.1 1.10 CN 114386621 A,202 2.04.22 CN 114581750 A,2022.06.03 CN 113128701 A,2021.07.16 CN 111414457 A,2020.07.14 CN 114639174 A,202 2.06.17 CN 114169543 A,202 2.03.11 CN 113360725 A,2021.09.07 CN 114186084 A,202 2.03.15 CN 113868366 A,2021.12.31 CN 112966832 A,2021.0 6.15 CN 114117153 A,2022.03.01 CN 114386621 A,202 2.04.22 US 20213 04062 A1,2021.09.3 0 刘昊鑫等.联合哈希特 征和分类 器学习的跨 模态检索算法. 《模式识别与人工智能》 .2020, (第02期), 王亚珅.面向数据共享交换的联邦学习技 术 发展综述. 《无 人系统技 术》 .2019,(第0 6期), 审查员 张改红 (54)发明名称 基于联邦学习和数据二进制表示的跨模态 检索方法及系统 (57)摘要 本发明提供了一种基于联邦学习和数据二 进制表示的跨模态检索方法及系统， 属于联邦学 习技术领域， 其通过若干客户端利用本地数据分 别训练得到本地投影矩阵， 将各客户端的本地投 影矩阵聚合得到全局投影矩阵， 重复迭代获得最 优全局投影矩阵， 利用最优全局投影矩阵构造的 哈希函数对待查询样本进行编码， 获得查询哈希 码； 计算查询哈希码与检索数据集中数据哈希码 的相似度， 获得检索结果； 所述方案在基于联邦 学习方法训练用于构造哈希函数的全局投影矩 阵时， 通过类别哈希码能够快速准确的生成各客 户端的数据哈希码； 并且， 通过对不同客户端采用相同的核映射， 保证了各客户端获得统一的非 线性特征， 提升了检索模型的检索精度和效率。 权利要求书2页 说明书10页 附图3页 CN 115080801 B 2022.11.11 CN 115080801 B 1.一种基于联邦学习和数据二进制表示的跨模态检索方法， 其特 征在于， 包括： 获取待查询目标的查询样本； 基于联邦学习训练得到的全局投影矩阵构造哈希函数， 并基于所述哈希函数对所述查 询样本进行编码， 获得查询哈希码； 其中， 所述全局投影矩阵的获取具体为： 随机生成当前 模态下的初始哈希函数的全局投影矩阵； 将所述全局投影矩阵下发至参与训练的若干客户 端， 利用客户端对应模态下 的本地数据分别进行训练， 获得当前轮次下 的当前模态的本地 投影矩阵； 将不同客户端训练得到的本地投影矩阵进行聚合， 获得当前轮次下当前模态的 全局投影矩阵； 重复迭代， 直至满足迭代要求， 获得最优的全局投影矩阵； 对所述查询哈希码与检索数据集中的数据哈希码进行相似度计算， 基于所述相似度， 获得检索结果； 所述本地投影矩阵的训练采用如下目标函数： 其中， 为第t轮时， 第k个客户端中m模态 的本地投影矩阵， 为正则化项的超参 数， 为第k个客户端下第m模态的核特征， 为第t轮时第k个客户端中样本的哈希 码。 2.如权利要求1所述的一种基于联邦学习和数据二进制表示的跨模态检索方法， 其特 征在于， 将所述全局投影矩阵下发至参与训练的若干客户端， 利用客户端对应模态下 的本 地数据分别进 行训练， 获得当前轮次下的当前模态的本地投影矩阵， 具体为： 对于特定客户 端， 基于其当前模态的本地数据确定其数据特征 的类别原型， 基于所述类别原型及当前轮 次获得的全局投影矩阵， 获得所述客户端的类别哈希码， 并基于所述类别哈希码生成所述 客户端本地训练数据的哈希码； 并基于所述本地训练数据的哈希码对哈希函数的本地投影 矩阵进行训练。 3.如权利要求1所述的一种基于联邦学习和数据二进制表示的跨模态检索方法， 其特 征在于， 所述核特 征为基于RBF核映射捕获数据样本特 征中的非线性关系， 其具体表示 为： 其中， 为第k个客户端中第m模态的数据特征表示， 特征维度用 表 示， 表示第k个客户端中训练样本的数量， 表示第m个模态选取的锚点 的第i 列。 4.如权利要求1所述的一种基于联邦学习和数据二进制表示的跨模态检索方法， 其特 征在于， 所述核 特征的获取， 具体采用如下方式： 对于每个客户端， 基于其本地数据特征， 采 用Mixup方法构建虚拟数据样 本， 并将若干客户端的虚拟数据样 本进行聚合， 获得当前模态 下总的虚拟数据样本， 并将所述总的虚拟数据样本传输给各个客户端， 作为锚点， 进 行核特权　利　要　求　书 1/2 页 2 CN 115080801 B 2征的提取。 5.如权利要求2所述的一种基于联邦学习和数据二进制表示的跨模态检索方法， 其特 征在于， 所述类别原型表示属于同一类别的数据特 征的平均值。 6.如权利要求1所述的一种基于联邦学习和数据二进制表示的跨模态检索方法， 其特 征在于， 所述将不同客户端训练得到的本地投影矩阵进行聚合， 具体为采用如下公式： 其中， 表示第k个客户端中训练样本的数量， 为所有客户端的训练样 本总量， C为 参与训练的客户端的数量, 为全局投影矩阵。 7.一种基于联邦学习和数据二进制表示的跨模态检索系统， 其特 征在于， 包括： 数据获取 单元， 其用于获取待查询目标的查询样本； 编码单元， 其用于基于联邦学习训练得到的全局 投影矩阵构造哈希函数， 并基于所述 哈希函数对所述查询样本进行编 码， 获得查询哈希码； 其中， 所述全局投影矩阵的获取具体 为： 随机生成当前模态下 的初始哈希函数 的全局投影矩阵； 将所述全局投影矩阵下发至参 与训练的若干客户端， 利用客户端对应模态下 的本地数据分别进行训练， 获得当前轮次下 的当前模态的本地投影矩阵； 将不同客户端训练得到的本地投影矩阵进行聚合， 获得当前 轮次下当前模态的全局投影矩阵； 重复迭代， 直至满足迭代要求， 获得最优的全局投影矩 阵； 检索单元， 其用于对所述查询哈希码与检索数据集中的数据哈希码进行相似度计算， 基于所述相似度， 获得检索结果； 所述本地投影矩阵的训练采用如下目标函数： 其中， 为第t轮时， 第k个客户端中m模态的本地投影矩阵， 为正则化项的超参 数， 为第k个客户端下第m模态的核特征， 为第t轮时第k个客户端中样本的哈希 码。 8.如权利要求7所述的一种基于联邦学习和数据二进制表示的跨模态检索系统， 其特 征在于， 将所述全局投影矩阵下发至参与训练的若干客户端， 利用客户端对应模态下 的本 地数据分别进 行训练， 获得当前轮次下的当前模态的本地投影矩阵， 具体为： 对于特定客户 端， 基于其当前模态的本地数据确定其数据特征 的类别原型， 基于所述类别原型及当前轮 次获得的全局投影矩阵， 获得所述客户端的类别哈希码， 并基于所述类别哈希码生成所述 客户端本地训练数据的哈希码； 并基于所述本地训练数据的哈希码对哈希函数的本地投影 矩阵进行训练。权　利　要　求　书 2/2 页 3 CN 115080801 B 3