(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210574154.6 (22)申请日 2022.05.25 (65)同一申请的已公布的文献号 申请公布号 CN 114663318 A (43)申请公布日 2022.06.24 (73)专利权人 江西财经 大学 地址 330013 江西省南昌市经济技 术开发 区双港东大街169号 (72)发明人 夏雪　蔡超　方玉明　姜文晖　 左一帆　陈强　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G06T 5/00(2006.01)G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/194(2017.01) G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 112733961 A,2021.04.3 0 CN 112446436 A,2021.0 3.05 审查员 孟桓羽 (54)发明名称 基于生成对抗网络的眼底图像生成方法与 系统 (57)摘要 本发明提出一种基于生成对抗网络的眼底 图像生成方法与系统， 所述方法包括： 获取健康 视网膜眼底彩照数据集， 对健康视网膜眼底彩照 数据集中的原始图像进行医学图像预处理； 构建 基于注意力机制的图像生 成器； 构建得到视网膜 眼底图像结构与纹理模块， 以及引入眼底图片血 管生成辅助模块， 其中视网膜眼底图像结构与纹 理模块与眼底 图片血管生成辅助模块用于辅助 图像生成器； 输入用于生 成眼底图像的随机高斯 噪声， 根据基于注意力机制的图像生成器， 利用 视网膜眼底图像结构与纹理模块 以及眼底 图片 血管生成辅助模块， 以最终生成眼底图像。 本发 明可为自动眼病诊断算法提供良好质量的眼底 图像， 提高自动眼病诊断算法准确度。 权利要求书5页 说明书8页 附图2页 CN 114663318 B 2022.08.30 CN 114663318 B 1.一种基于生成对抗网络的眼底图像生成方法， 其特 征在于， 所述方法包括如下步骤： 步骤一： 获取健康视网膜眼底彩照数据集， 对所述健康视网膜眼底彩照数据集中的原 始图像进行医学图像预处 理， 其中进行医学图像预处 理用于引导眼底图像的生成； 步骤二： 构建基于注意力机制的图像生成器； 步骤三： 构建得到视网膜眼底图像结构与纹理模块， 以及引入眼底图片血管生成辅助 模块， 其中所述视网膜眼底图像结构与纹理模块与所述眼底图片血管生成辅助模块用于辅 助所述图像生成器； 步骤四： 输入用于得到生成眼底图像的随机高斯噪声， 根据所述基于注意力机制的图 像生成器， 利用所述视网膜眼底图像结构与纹理模块以及所述眼底图片血管生成辅助模 块， 以最终得到生成眼底图像； 在所述步骤三中， 所述视网膜眼底图像结构与纹理模块对应有一视网膜眼底图像结构 与纹理损失函数， 所述视网膜眼底图像结构与纹理损失函数用于测算生成图片与真实图片 之间的差异； 其中所述视网膜眼底图像结构与纹 理损失函数的计算方法包括如下步骤： 计算生成眼底图像与真实眼底图像之间的纹 理相似度； 计算生成眼底图像与真实眼底图像之间的结构相似度； 根据所述纹 理相似度以及所述结构相似度， 计算得到深度图像纹 理和结构相似度； 根据所述深度图像纹理和结构相似度， 计算得到所述视网膜眼底图像结构与纹理损失 函数； 所述纹理相似度的计算公式为： 其中， 表示所述纹理相似度， 表示生成眼底图像 的第 层卷积层的第 个特征图， 表示真实眼底图像 的第 层卷积层的第 个特征图， 表示生成 眼底图像 的第 层卷积层的第 个特征图的均值， 表示真实眼底图像 的第 层 卷积层的第 个特征图的均值， 为大于零的第一常数， 表示卷积层的索引， 表示特征 图的索引； 所述结构相似度的计算公式为： 其中， 表示所述结构相似度， 表示生成眼底图像 的第 层卷积层的权　利　要　求　书 1/5 页 2 CN 114663318 B 2第 个特征图的方差， 表示真实眼底图像 的第 层卷积层的第 个特征图的方 差， 表示真实眼底图像 与生成眼底图像 之间的协方差， 为大于零的第二 常数； 所述深度图像纹 理和结构相似度的计算公式表示 为： 其中， 表示所述深度图像纹理和结构相似度， 表示第 个卷积 层第 个特征图对应的第一学习权重， 表示第 个卷积层第 个特征图对应的第二权 重， 表示大于零的第一学习权 重， 表示大于零的第二学习权 重； 所述视网膜眼底图像结构与纹 理损失函数表示 为： 其中， 表示所述视网膜眼底图像结构与纹 理损失函数； 所述眼底图片血管生成辅助模块对应有一结构相似度损失函数， 所述结构相似度损失 函数表示 为： 其中， 表示所述结构相似度损失函数， 表示结构相似度指标； 其中， 表示生成眼底图像 的均值， 表示真实眼底图像 的均值， 均 为大于零的常数， 表示生成眼底图像 的方差， 表示真实眼底图像 的方差； 在所述步骤四中， 通过组合损 失函数构建的生成对抗网络进行训练， 以得到所述生成 眼底图像， 其中， 所述组合损失函数表示 为： 其中， 表示所述组合损失函数， 表示第一函数权重， 表示第二函数权重， 表 示第三函数权重， 表示第四函数权重， 为第一GAN基础损失函数， 为第二GAN基 础损失函数。 2.根据权利要求1所述的基于生成对抗网络的眼底图像生成方法， 其特征在于， 在所述 步骤一中， 对所述健康视网膜眼底彩照数据集中的原始图像进行医学图像预处理的方法包 括如下步骤：权　利　要　求　书 2/5 页 3 CN 114663318 B 3