(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210561022.X (22)申请日 2022.05.23 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 赖大坤　侯钟伟　安红宇　番雄彬　 茶兴增　高勇　李恩　 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/10(2017.01) G06T 5/00(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于生成对抗网络的太赫兹图像超分 辨率重建方法 (57)摘要 本发明属于深度学习图像处理领域， 公开了 一种基于生成对抗网络的太赫兹图像超分辨率 重建方法， 该方法主要包括下列步骤： 首先通过 一种空域及频域模拟退化图像处理方法建立太 赫兹超分辨率图像数据集， 利用数据集对多尺度 超分辨率生成对抗网络MSISR ‑GAN进行训练； 然 后通过图像预处理算法， 去除原始 太赫兹低分辨 率图像的噪声和冗杂信息， 再平滑图像边缘， 得 到质量得到提升的太赫兹图像； 最后基于MSISR ‑ GAN网络对预处理后的太赫兹图像进行超分辨率 重建， 并获得峰值信噪比和结构相似性图像重建 效果评估。 本发 明可以在少量太赫兹图像数据的 情况下实现的图像的超分辨率重建， 达到了比较 好的效果。 权利要求书2页 说明书6页 附图2页 CN 115358922 A 2022.11.18 CN 115358922 A 1.一种基于生成对抗网络的太赫兹图像超分辨率重建方法， 其特征在于通过现有的开 源图像数据库， 训练多尺度超分辨率生成对抗网络模 型MSISR‑GAN， 实现对原始的低分辨率 太赫兹图像进行超分辨 率重建， 主 要包括以下步骤： S1.基于开源的图像数据库建立高分辨率图像库， 采用空域及频域退化方法建立低分 辨率图像数据库， 将低、 高分辨 率图像一 一对应得到太赫兹超分辨 率图像训练集； S2.基于S1生成的太赫兹超分辨率图像训练集， 对超分辨率生成对抗网络模型MSISR ‑ GAN的生成器进行 预训练； S3.通过S2得到的预训练模型， 对超分辨率生成对抗网络模型MSISR ‑GAN的生成器和判 别器进行交叠训练， 并保存每 个epoch中峰值信噪比最高的模型； S4.获取原 始的太赫兹低分辨 率图像； S5.对S4获取到的原始太赫兹低分辨率图像， 采用图像预处理算法去除噪声和冗杂信 息， 并进行图像边 缘平滑处理， 得到质量 提升的太赫兹图像； S6.将S5得到的预处理后太赫兹图像送入S3训练好的超分辨率生成对抗网络模型 MSISR‑GAN， 得到超分辨率太赫兹图像， 并通过峰值信噪比PSNR和结构相似性SSIM两个有参 评价指标进行图像重建效果的量 化评估。 2.如权利要求1所述的一种基于生成对抗网络的太赫兹图像超分辨率重建方法， 其特 征在于， 所述 步骤S1， 建立太赫兹超分辨 率图像训练集， 具体包括如下步骤： S7： 基于开源的图像数据库建立高分辨率图像库， 并将数据库图像分割成为分辨率为X ×Y的小图像， 便 于网络模型训练； S8： 使用基于空间域及时域退化模型的方法， 对高分辨率图像进行模糊处理和噪声模 拟的退化处理， 得到模拟 太赫兹成像过程中由于波源波动干扰及传感器测量噪声引起的低 分辨率图像； S9： 将上述经过空域退化的图像， 再转化为频域图像， 并在频域的高频部分加入加性掩 膜或者乘性掩膜， 加 性掩膜是指在图像特征频域同时加 一定的幅值， 乘性掩膜是指在图像 特征频域同时乘一定的幅值。 通过以上方法改变频域图像特征频率系 数使之变大， 进而得 到含有条纹伪影的模拟太赫兹成像图像， 保证在频域模拟图像退化； S10： 重复S 8和S9操作对图像进行二阶退化， 得到模拟太赫兹低分辨 率图像； S11： 将S1和S4得到的高分辨率图像和低分辨率图像对应， 建立模拟太赫兹图像数据 集。 3.如权利要求1所述的一种基于生成对抗网络的太赫兹图像超分辨率重建方法， 其特 征在于， 所述步骤S2， 对超分辨率生成对抗网络模型MSISR ‑GAN的生成器进行预训练， 具体 包括如下步骤： S12： 设计多尺度特征提取块MRDB的结构， 提取图像特征， 其中多尺度特征提取块MRDB 包含3个支路， 分别由三个不同大小的卷积核构成， 每个支路包含两层卷积两层relu， 并结 合resnet对所有卷积层做连接； S13： 设计超分辨率生成对抗网络模型MSISR ‑GAN的生成器， 由三部分组成： 浅层 特征提 取、 高层次特 征映射、 超分辨 率图像重建； S14： 浅层特征提取： 首先将未经处理的LR作为输入， 经过一层使用带有ReLU激活函数 的3×3卷积核；权　利　要　求　书 1/2 页 2 CN 115358922 A 2S15： 高层次特征映射： 将S14得到的结果输入由十六个多尺度特征提取块MRDB模块堆 叠而成的模型层； S16： 图像重建： 引入渐进式上采样的方式对高层次特征进行学习， 使用亚像素卷积组 建上采样层， 提升模型 学习能力。 4.如权利要求1所述的一种基于生成对抗网络的太赫兹图像超分辨率重建方法， 其特 征在于， 所述步骤S 3， 对超分辨率生 成对抗网络模型MSISR ‑GAN的生成器和判别器进行交叠 训练， 并保存每 个epoch中峰值信噪比最高的模型。 5.如权利要求1所述的一种基于生成对抗网络的太赫兹图像超分辨率重建方法， 其特 征在于， 所述 步骤S5， 对真实的太赫兹低分辨 率图像进行图像预处 理， 具体包括如下步骤： S25： 通过小波自适应阈值去噪算法对太赫兹图像进行多尺度分解并去噪， 去除图像 中 的噪声和大量冗余信息， 并将大块的像素点进行平 滑处理。 S26： 再通过双边滤波算法， 滤去噪声的同时保护边界。 6.如权利要求1所述的一种基于生成对抗网络的太赫兹图像超分辨率重建方法， 其特 征在于， 所述步骤S6， 评估训练好的超分辨率生成对抗网络模型MSISR ‑GAN， 具体包括如下 步骤： S27： 通过P SNR峰值信噪比对 模型进行评价， 其式如下： MAX表示图像信号的最大峰值， MSE表示上式 中的当前图像的均方误差 。 S28： 再通过S SIM对模型进行评价。 S29： 将S26预处理过的低分辨率太赫兹图像输入训练好的MSISR ‑GAN网络， 得到超分辨 率太赫兹图像。权　利　要　求　书 2/2 页 3 CN 115358922 A 3