(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210870586.1 (22)申请日 2022.07.22 (71)申请人 太原理工大 学 地址 030024 山西省太原市迎泽西大街79 号 (72)发明人 王峰　赵伟　周平华　康智强　 孔维立　裴林聪　 (74)专利代理 机构 太原荣信德知识产权代理事 务所(特殊普通 合伙) 14119 专利代理师 连慧敏 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种有监督生成对抗网络与胶囊网络的红 外图像增强方法 (57)摘要 本发明属于红外图像增强方法技术领域， 具 体涉及一种有监督生成对抗网络与胶囊网络的 红外图像增强方法， 包括下列步骤： 引进条件变 量， 根据图像的类型采取不同的卷积核进行可变 步长移动对图像进行卷积； 将胶囊网络作为生成 对抗网络中的判别器的框架； 将采用改进的 Res2net网络模块放到生成器中卷积层； 重新设 计生成器网络中的重构层。 本发 明结合生成对抗 网络可产生新数据的优点， 以及胶囊网络的矢量 性特点， 使生成图像和真实图像相似的同时， 更 加具备纹理性和细节性。 并且本发 明重新设计生 成器网络中的重构层， 可以解决因全 连接层过多 而带来的参数冗余， 以及训练过慢的问题。 权利要求书2页 说明书5页 附图3页 CN 115358938 A 2022.11.18 CN 115358938 A 1.一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 包括下列 步骤： S1、 引进条件变量， 根据图像的类型采取不同的卷积核进行可变步长移动对图像进行 卷积； S2、 将胶囊网络作为生成对抗网络中的判别器的框架， 结合生成对抗网络可产生新数 据的优点， 以及胶囊网络的矢量性特点， 使生 成图像和真实图像相似的同时， 更加具备纹理 性和细节性； S3、 将采用改进的Res2net网络模块放到生成器中卷积层之后， 利用此模块更强的特征 提取能力， 使其有效的提取图像中细节特 征； S4、 重新设计生成器网络中的重构层， 解决因全连接层过多而带来的参数冗余， 以及训 练过慢的问题。 2.根据权利要求1所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 所述S1中引进条件变量的方法为： 根据待处理图像的尺寸以及所含目标大小 不同， 使得条件变量设置不同的卷积核以及卷积步长， 在 减少处理 时长的同时， 增强对感兴 趣区域进行 特征提取。 3.根据权利要求1所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 所述S2中将胶囊网络作为生成对抗网络中的判别器的框架的方法为： 将生成 对抗网络中判别器以胶囊网络为框架进行设计， 在判别器中的卷积层设置大小为M*M的卷 积核， 步长设置为a1； a1,M取值根据图像实际情况在有监督的情况进行设置， 卷积层后 边分 别是PrimaryCaps层、 DigitCaps层、 全连接层。 4.根据权利要求1所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 所述S3中提取图像中细节特征的方法为： 在胶囊网络框架中卷积层之后引入 Res2Net网络模块， 在卷积层对图像进 行预处理之后， 在不增加计算负载量的同时进一步对 目标区域进行多尺度特 征提取。 5.根据权利要求4所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 所述对目标区域进行多尺度特 征提取的方法为： 将经1*1卷积处理之后的特征图分为N个模块， 定义为Xi,(i＝1,2, …N),每个特征块具 有相同的尺度大小， 除X1之外， 其他子模块都具有3*3卷积核， 定义为Ki()， 其输出为Yi， 子 模块Xi和Ki‑1()相加， 然后输入到Ki()， 所述Yi为： 6.根据权利要求1所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 所述S4中重新设计生成器网络中的重构层的方法为： 将全连接层采用反卷积 网络进行重构， 对数字胶囊层输出 的向量进行一个处理， 只保留一个正确输出 的胶囊所对 应向量， 将其经过一层全 连接层， 然后采用BatchNormalization的优化方法， 经过 ReLU激活 函数得到了特征图， 最后利用固定尺寸卷积核 进行反卷积 操作， 得到 重构生成图像。 7.根据权利要求6所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法，权　利　要　求　书 1/2 页 2 CN 115358938 A 2其特征在于： 所述得到重构生成图像的方法为： 对 数字胶囊层输出的向量进行一个处理， 只 保留 一 个正 确输出的 胶囊所 对应向 量 ； 将其经 过 一 层全连 接 层 ， 然 后采 用 BatchNormalization的优化方法， 经过ReLU激活函数得到了特征图； 最后利用固定尺寸卷 积核进行反卷积 操作， 得到 重构生成图像。 8.根据权利要求7所述的一种有监督生成对抗网络与胶囊网络的红外图像增强方法， 其特征在于： 所述BatchNormalization的优化方法为： 使神经网络中间层的输入保持着均 值为0， 方差为1的标准 正态分布， 计算公式如下： 所述 μB表示批训练均值， xi为第i个输入数据， m为批训练样本 数量， 表示方差， 对输 入数据进行归一 化处理， 参数γ和参数β 为可训练参数， 保持输入数据的原 始分布。权　利　要　求　书 2/2 页 3 CN 115358938 A 3