(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210843101.X (22)申请日 2022.07.18 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 刘旭　焦李成　张轩铭　唐旭　 孙其功　刘芳　陈璞花　李玲玲　 郭雨薇　侯彪　杨淑媛　张向荣　 白静　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 王丹 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于噪声挤压和通道注意力机制的热成像 图像超分辨方法 (57)摘要 本发明公开了一种基于噪声挤压和通道注 意力机制的热成像图像超分辨方法， 包括： 获取 待重建热成像图像； 利用超分辨网络对待重建热 成像图像进行图像重建得到超分辨率的热成像 图像； 其中， 超分辨网络为通过热成像训练数据 进行训练得到的训练好的超分辨网络； 超分辨网 络包括特征提取模块、 多级通道注意力模块、 噪 声挤压模块、 高频滤波模块和上采样模块。 本发 明基于提出的新的超分辨网络模 型， 提高了超分 辨率热图像 重建细节成像效果。 权利要求书2页 说明书10页 附图7页 CN 115409699 A 2022.11.29 CN 115409699 A 1.一种基于噪声挤压和通道 注意力机制的热成像图像超分辨方法， 其特 征在于， 包括： 获取待重建热成像图像； 利用超分辨网络对所述待重建热成像图像进行图像重建得到超分辨 率的热成像图像； 其中， 所述超分辨网络为通过热成像训练数据进行训练得到的训练好的超分辨网络； 所述超分辨网络包括特征提取模块、 多级通道注 意力模块、 噪声挤压模块、 高频滤波模块和 上采样模块， 其中， 所述特征提取模块， 用于对所述待重建热成像图像进行特征提取； 所述多级通道注意 力模块， 用于对提取的特征按多个通道进 行强化， 根据所有强化结提取细节特征； 所述噪声 挤压模块， 用于将所述细节特征进行特征相似度计算以及去 噪； 所述高频滤波模块用于提 取所述待重建热成像图像的高频信息； 所述上采样模块， 用于将去 噪后的信息和所述高频 信息进行拼接， 并对拼接结果进行 上采样重建处 理得到所述超分辨 率的热成像图像。 2.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述特征提取模块包括依 次连接的若干卷积块和一第一卷积层， 第一个卷积 块的输入还与最后一个卷积块的输出连接一加法器； 每一卷积块包括依次连接的若干第二 卷积层和一所述第一卷积层， 第一个第二卷积层的输入与最后一个第二卷积层的输出连接 一加法器。 3.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述多级通道注意力模块包括并行 的N个强化通道、 与所述N个强化通道的输 出连接的一加法器， 以及与所述加法器的输出和与所述N个强化通道的输入连接的一点乘 器， N为大于0的整数， 其中， 第n个强化 通道包括 n个并行的第三卷积层和一卷积激活层， n取值 为1～N； 对于n>1的强化通道， 每一强化通道还包括一点乘器， 该点乘器的输入连接n个第三卷 积层的输出， 该点乘器的输出 连接卷积激活层的输入。 4.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述噪声挤压模块中进行 特征相似度计算以及去噪的过程包括： 确定用于特 征相似度计算的前置通道； 计算所述前置通道对应的特征相似度损 失； 其中， 所述特征相似度损 失用于训练中所 述超分辨网络的网络参数 更新； 对非用于特 征相似度计算的后置通道进行降噪处 理； 将所述前置通道对应的输出与降噪后的后置通道对应的输出进行拼接得到所述噪声 挤压模块的输出。 5.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述高频滤波模块包括若干依 次连接的第四卷积层和高通滤波器， 以及与第 一个第四卷积层的输入和最后一个高通滤波器的输出连接的一加法器， 该加法器的输出与 第五卷积层连接 。 6.根据权利要求5所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述高通滤波器采用的是低频 滤波器反转的策略。 7.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述上采样模块采用亚像素卷积策略； 其中， 所述上采样模块的输入连接一全权　利　要　求　书 1/2 页 2 CN 115409699 A 2连接层。 8.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述超分辨网络的训练过程， 包括： 获取热成像训练数据； 所述热成像训练数据包括热成像标签图像， 以及所述热成像标 签图像对应的不含噪的低分辨 率热成像图像和含噪的低分辨 率热成像图像； 针对每一次迭代， 包括： 分别将所述不含噪的低分辨率热成像图像和所述含噪的低分 辨率热成像图像输入至特征提取模块进行特征提取得到第一提取特征和 第二提取特征； 分 别将所述第一提取特征和所述第二提取特征输入至多级通道注意力模块进行细节特征提 取得到第一细节特征和第二细节特征； 同时将所述第一细节特征和所述第二细节特征输入 至噪声挤压模块进行去 噪处理， 以及特征相似度损失计算； 将所述含噪的低分辨率热成像 图像输入至高频滤波模块提取高频信息； 将去噪后的信息和所述高频信息进 行拼接输入至 上采样模块进 行上采样 重建处理； 根据上采样重建结果和所述热成像标签图像进 行图像输 出损失计算； 根据所述特征相似度损失和所述图像输出损失进行超分辨网络的网络参数更 新； 在更新的超分辨网络下， 重复上述过程， 直至达到最大迭代次数得到训练好的超分辨网 络。 9.根据权利要求8所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法， 其特征在于， 所述获取 热成像训练数据， 包括： 获取热成像标签图像； 将所述热成像标签图像进行下采样得到所述热成像标签图像对应的不含噪的低分辨 率热成像图像； 对所述不含噪的低分辨率热成像图像增加噪声形成对应的含噪的低分辨率热成像图 像。 10.根据权利要求8所述的基于噪声挤压和通道注意力 机制的热成像图像超分辨方法， 其特征在于， 所述超分辨网络的训练过程， 还 包括： 每一次迭代上采样重建处 理后， 计算对应上采样重建结果的P SNR； 从所有采样重建结果的PSNR中找出最大的PSNR， 将输出最大的PSNR时对应的超分辨网 络作为训练好的超分辨网络 。权　利　要　求　书 2/2 页 3 CN 115409699 A 3