(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210546381.8 (22)申请日 2022.05.20 (65)同一申请的已公布的文献号 申请公布号 CN 114648681 A (43)申请公布日 2022.06.21 (73)专利权人 浪潮电子信息产业股份有限公司 地址 250101 山东省济南市高新区浪潮路 1036号 (72)发明人 赵雅倩　刘璐　李仁刚　郭振华　 闫瑞栋　徐聪　金良　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 马小青 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/00(2006.01) G06F 40/30(2020.01) G06F 16/36(2019.01)G06K 9/62(2022.01) (56)对比文件 CN 112489152 A,2021.0 3.12 CN 110866958 A,2020.0 3.06 US 2022005235 A1,202 2.01.06 CN 111858954 A,2020.10.3 0 CN 113674374 A,2021.1 1.19 CN 110751698 A,2020.02.04 US 2012296897 A1,2012.1 1.22 CN 114332565 A,2022.04.12 黄宏宇等.一种基 于自注意力机制的文本图 像生成对抗网络. 《重庆大 学学报》 .2020,(第0 3 期), Ammar Nasr 等.Sem GAN: Text to Ima ge Synthesis from Text Semantics usi ng Attentional Generative Adversarial Networks. 《IC CCEEE》 .2021,全 文. 胡名起.基 于生成对抗网络的文本生成图像 研究. 《中国硕士学位 论文全文数据库》 .202 2,全 文. (续) 审查员 曹宁 (54)发明名称 一种图像生成方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种图像生成方法、 装置、 设 备及介质， 涉及人工智能领域， 该方法包括： 获取 弱相关图文数据对， 并根据弱相关图文数据对创 建图文数据集， 弱相关图文数据对为图文之间呈 弱相关关系的图文数据对， 利用图文数据集对预 先基于对抗网络构建的 图像生成模型进行训练， 以得到训练后图像生成模型， 图像生成模型中包 含用于生成图片的生成器以及用于鉴别图片真 假并计算相应损失值的判别器， 当获取到待处理 文本数据， 则利用训练后图像生成模 型生成与待 处理文本 数据对应的图片。 本方法采用呈弱相关关系的图文数据， 并使用单阶段端到端的训练方 法， 使生成的图像更加贴近实际的生活场景， 容 易落地实施， 可用于指导艺术化、 抽象化等图像 的生成。 [转续页] 权利要求书2页 说明书11页 附图4页 CN 114648681 B 2022.10.28 CN 114648681 B (56)对比文件 Tao Xu 等.A ttnGAN: Fi ne-Grained Text to Image Generati on with Attentional Generative Adversarial Netw orks. 《2018 IEEE/CVF Conference o n Computer Visi on and Pattern Recogn ition》 .2018,第18-23页. Yuqi Huo 等.Wen Lan: Bridgi ng Vision and Langua ge by Large-Scale Multi- Modal Pre-Trai ning. 《arXiv》 .2021,第1-9页.2/2 页 2[接上页] CN 114648681 B1.一种图像生成方法， 其特 征在于， 包括： 获取弱相关图文数据对， 并根据所述弱相关图文数据对创建图文数据集； 所述弱相关 图文数据对为图文之间呈弱相关 关系的图文数据对； 利用所述图文数据集对预先基于对抗网络构建的图像生成模型进行训练， 以得到训练 后图像生成模型； 所述图像生成模型中包含用于生成图片的生成器以及用于鉴别图片真假 并计算相应损失值的判别器； 当获取到待处理文本数据， 则利用所述训练后图像生成模型生成与 所述待处理文本数 据对应的图片； 其中， 所述利用所述图文数据集对预先基于对抗网络构建的图像生成模型进行训练 的 过程中， 包括： 通过所述图像生成模型中的生 成器， 从所述图文 数据集中确定目标文本并基 于所述目标文本生成相 应的第一 目标图像； 通过所述图像生成模型中的判别器， 从所述图 文数据集中确定与所述目标文本对应的第二目标图像， 并利用所述第一目标图像与所述第 二目标图像进行全局特征比对与局部特征比对， 得到相应的特征比对结果， 然后根据所述 特征比对结果确定与所述第一目标图像对应的对抗损失值； 所述对抗损失值为用于表示图 像真伪的概 率值； 基于所述对抗损失值确定所述第一目标图像的真伪判别结果； 并且， 所述基于所述目标文本生成相应的第一目标图像， 包括： 利用预设的语言处理工 具对所述 目标文本进行处理， 以确定所述 目标文本中的目标实体； 基于所述 目标实体并利 用预设的知识图谱技术确定待扩充实体， 并利用所述待扩充实体与所述目标实体构建相应 的实体候选集； 将所述 目标文本与所述实体候选集输入预设的转换模型中， 以得到所述转 换模型输出 的与所述目标文本与所述实体候选集分别对应的文本语义嵌入和实体语义嵌 入； 基于预设随机噪声、 所述文本语义嵌入以及所述实体 语义嵌入生成第一目标图像。 2.根据权利要求1所述的图像生成方法， 其特征在于， 所述基于预设随机噪声、 所述文 本语义嵌入以及所述实体 语义嵌入生成第一目标图像， 包括： 将预设随机噪声、 所述文本语义嵌入以及所述实体语义嵌入输入预设的多层感知机， 以得到仿射变换参数； 利用所述仿射变换参数确定目标隐层特征值， 并将当前隐层特征值调整为所述目标隐 层特征值， 以得到用于对生成的所述第一目标图像的像素值进行约束的全局条件； 基于所述全局条件并利用预 先连接上的上采样层生成所述第一目标图像。 3.根据权利要求1所述的图像生成方法， 其特 征在于， 还 包括： 利用预设批大小的文本、 与所述文本对应的图像以及所述文本对应的所述实体候选 集， 并利用预设的第一损失函数计算所述 生成器的损失值； 使用同批的所述文本、 与所述文本对应的图像以及所述文本对应的所述实体候选集， 并利用预设的第二损失函数计算所述判别器的损失值； 确定影响所述生成器的损失值与 所述判别器的损失值的网络参数， 并使用预设优化器 对所述网络参数进行优化更新。 4.根据权利要求3所述的图像生成方法， 其特征在于， 所述使用预设优化器对所述网络 参数进行优化更新之后， 还 包括： 利用预设计数器记录优化更新次数； 判断所述优化更新次数 是否满足预设目标优化次数；权　利　要　求　书 1/2 页 2 CN 114648681 B 3