(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210829938.9 (22)申请日 2022.07.14 (71)申请人 中电科普天科技股份有限公司 地址 510801 广东省广州市迎宾大道 95号 申请人 广州杰赛 通信规划设计院有限公司 (72)发明人 杜翠凤　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 吕金金 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/22(2006.01) (54)发明名称 基于语音交互的样本扩增方法、 系统、 设备 及存储介质 (57)摘要 本发明公开了一种基于语音交互的样本扩 增方法、 系统、 设备及存储介质， 其中， 所述方法 包括： 获取当前批次的真实图像样 本集和用户语 音数据； 将随机噪声及所述真实图像样本集的特 征类别输入至生成对抗网络中的生成模型， 得到 候选图像样 本； 对所述语音数据的语音语义以及 所述候选图像样本的图像语义进行匹配， 筛选出 所述候选图像样本中符合预设条件的目标图像 样本； 通过所述生成对抗网络中的判别模型， 对 所述目标图像样本和所述真实图像样本集进行 判别， 得到判别结果； 根据所述判别结果对所述 生成模型和所述判别模型进行对抗训练， 当满足 训练停止条件时， 输出当前批次的目标图像样 本。 通过上述方法能够生成更多高质量样本， 以 不断扩充样本库。 权利要求书2页 说明书5页 附图1页 CN 115294421 A 2022.11.04 CN 115294421 A 1.一种基于语音交 互的样本扩增方法， 其特 征在于， 包括： 获取当前批次的真实图像样本集和用户语音数据； 将随机噪声及所述真实图像样本集的特征类别输入至生成对抗网络 中的生成模型， 得 到候选图像样本； 对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配， 筛选出所述 候选图像样本中符合预设条件的目标图像样本； 通过所述生成对抗网络 中的判别模型， 对所述目标图像样本和所述真实图像样本集进 行判别， 得到判别结果； 根据所述判别结果对所述生成模型和所述判别模型进行对抗训练， 当满足训练停止条 件时， 输出当前批次的目标图像样本 。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 在当前批次中， 将输出的目标图像样本增加至所述真实图像样本集中， 得到下一批次 的真实图像样本集。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述判别结果对所述生成模型和 所述判别模型进行对抗训练， 包括： 固定所述生成模型的网络参数， 采用判别损失函数对所述判别模型的网络参数进行训 练， 得到训练后的判别模型； 固定训练后的判别模型的网络参数， 基于生成损 失函数， 采用强化学习策略对所述生 成模型的网络参数进行迭代训练， 得到训练后的生成模型。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述语音数据的语音语义以及所述 候选图像样本的图像语义进行匹配， 筛选出所述候选图像样本中符合预设条件的目标图像 样本， 包括： 利用协同矩阵分解学习所述候选图像样本和所述语音数据的模态间语义一致性， 基于 模态间语义一致性对所述语音数据的语音语义和所述候选图像样本的图像语义进行相似 性匹配； 根据匹配结果筛 选出所述候选图像样本中符合预设条件的目标图像样本 。 5.根据权利要求4所述的方法， 其特征在于， 所述利用协同矩阵分解学习所述候选图像 样本和所述语音数据的模态间语义 一致性， 包括： 通过协同矩阵分解分别得到所述候选图像样本的图像语义特征矩阵和图像哈希码集、 以及所述语音 数据的语音语义特征矩阵和语音哈希码， 以使 所述候选图像样本和所述语音 数据位于统一的潜在语义空间。 6.根据权利要求5所述的方法， 其特征在于， 所述基于模态间语义一致性对所述语音数 据的语音语义和所述 候选图像样本的图像 语义进行相似性匹配， 包括： 基于所述候选图像样本的图像语义特征矩阵和图像哈希码集、 所述语音数据的语音语 义特征矩阵和语音哈希码进行相似性匹配； 若匹配结果大于预设阈值， 则设置所述 候选图像样本为目标图像样本 。 7.一种基于语音交 互的样本扩增系统， 其特 征在于， 包括： 获取单元， 用于获取当前批次的真实图像样本集和用户语音数据； 筛选单元， 用于将随机噪声及所述真实图像样本集的特征类别 输入至生成对抗网络中权　利　要　求　书 1/2 页 2 CN 115294421 A 2的生成模型， 得到候选图像样本； 对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配， 筛选出所述 候选图像样本中符合预设条件的目标图像样本； 训练单元， 用于通过所述生成对抗网络中的判别模型， 对所述目标图像样本和所述真 实图像样本集进行判别， 得到判别结果； 根据所述判别结果对所述生成模型和所述判别模型进行迭代对抗训练， 当满足迭代停 止条件时， 输出当前批次的目标图像样本 。 8.根据权利要求7 所述的系统， 其特 征在于， 所述训练单 元还用于： 在当前批次中， 将输出的目标图像样本增加至所述真实图像样本集中， 得到下一批次 的真实图像样本集。 9.一种数据处 理设备， 其特 征在于， 包括： 处理器， 所述处理器和存储器耦合， 所述存储器存储有程序， 所述程序由所述处理器执 行， 使得所述数据处 理设备执行如权利要求1～6中任一项所述的方法。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有计算机指令， 所述 计算机指令用于执 行上述权利要求1～6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115294421 A 3