(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624115.2 (22)申请日 2022.06.02 (71)申请人 华侨大学 地址 362000 福建省泉州市城华北路269号 华侨大学 申请人 厦门亿联网络技 术股份有限公司 (72)发明人 朱建清　赵倩倩　涂美霞　曾焕强　 黄诚惕　廖昀　冯万健　杜吉祥　 蔡灿辉　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 专利代理师 陈雪莹 (51)Int.Cl. G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于结构相似度的非局部注意力学习 方法 (57)摘要 本发明提供一种基于结构相似度的非局部 注意力学习方法， 可广泛应用于机器视觉领域， 例如图像分割、 图像分类、 图像识别等。 现有非局 部注意力方法简单计算不同空域位置的两个信 号内积作为二者的相似度度量， 并不完全符合人 类视觉感知特点。 针对这一问题， 本发明提出利 用结构相似度衡量不同空域位置的信号之间的 相似度， 在非局部注意力学习方法中充分考虑人 类视觉对信号感知三个重要因素， 即亮度、 对比 度和结构。 其次， 本发明进一步提出多尺度结构 相似度度量策略， 在不同尺度上更为全面地进行 信号相似度度量。 因此， 本发明能够取得比现有 非局部注意力方法更好 地注意力学习效果。 权利要求书1页 说明书4页 附图3页 CN 114972812 A 2022.08.30 CN 114972812 A 1.一种基于结构相似度的非局部注意力学习方法， 其特征在于： 用于构建单尺度结构 相似度非局部注意力模块， 所述方法包括： 步骤1、 利用3个1 ×1卷积层对输入信号进行降维 并生成g、 和 θ三个特征图； 特征图g用 于表示各位置 输入信号的值， 特 征图 和 θ用于表示表示输入信号的查询和键； 步骤2、 利用高斯核对特 征图 和 θ进行计算均值和方差， 如下式： 其中， 表示卷积运算， ⊙表示点乘运算， wk×k为高斯核， 其尺度大小为k ×k； 表 示 θ在各通道上的均值； 表示 θ在各通道上方差； 表示 θ二者点乘结果 在各通道上的方差； 步骤3、 计算特征图 和 θ不同空域位置信号之间的在k ×k尺度上的结构相似度， 用于刻 画不同空域 位置信号之间的相似度， 如下式： 其中， c表示信号的通道数； r1>0、 r2>0是小常数， 用于避免除零； 步骤4、 对所述结构相似度进行按行归一化处理后， 将其与特征图g进行矩阵乘法， 得到 k×k尺度上的非局部注意力响应yk×k； 步骤5、 对所述非局部注意力响应yk×k利用1×1卷积进行升维处理， 使其通道数和输入 信号的通道数相等， 再将升维后的非局部注意力响应与输入信号相加， 获得单尺度结构相 似度非局部注意力模块的最终输出。 2.一种基于结构相似度的非局部注意力学习方法， 其特征在于： 用于构建多尺度结构 相似度非局部注意力模块， 所述方法包括： 步骤1、 利用3个1 ×1卷积层对输入信号进行降维并生成g、 和 θ 三个特征图； 特征图g用 于表示各位置 输入信号的值， 特 征图 和 θ用于表示表示输入信号的查询和键； 步骤2、 利用给定n个尺度的高斯核 分别对特征图 和 θ计算各 个尺度下的非局部注意力响应 步骤3、 融合所述各个尺度下的非局部注意力响应 获得多尺度 非局部注意力响应y， 如下式： 步骤4、 对所述非局部注意力响应y利用1 ×1卷积进行升维处理， 使其通道数和输入信 号的通道数相等， 再将升维后的非局部注意力响应与输入信号相加， 获得多尺度结构相似 度非局部注意力模块的最终输出。权　利　要　求　书 1/1 页 2 CN 114972812 A 2一种基于结构相似度的非局部注意力学习方 法 技术领域 [0001]本发明涉及机器视觉技术领域， 特别涉及 一种基于结构相似度的非局部注意力学 习方法。 背景技术 [0002]卷积神经网络在人工智能领域中图像检测、 分割、 分类和识别具有广泛的应用。 但 是， 卷积运算是一个局部算子， 往往只能学习图像局部区域内的特征信息， 无法学习局部区 域之间的相互关系， 造成其特 征学习能力受限。 [0003]现有的非局部注意力学习方法利用不同空间位置信号之间的内积运算能够捕获 长距离空间相关性， 可以提升卷积神经网络的特征学习能力。 但是， 这种不同空间位置信号 之间的内积运算本质是以不用空域位置上两个信号相关运算作为二者的相似度度量， 并未 充分考虑图像信号在空域上 结构特性， 并不完全符合人类视 觉感知。 发明内容 [0004]本发明要解决的技术问题， 在于提供一种基于结构相似度的非局部注意力学习方 法， 采用结构相似度来衡量不同空域位置信号之间的相似度， 构建单尺度或多尺度结构相 似度非局部注意力模块， 实现更为符合人类视 觉特点的注意力学习。 [0005]第一方面， 本发明提供了一种基于结构相似度的非局部注意力学习方法， 用于构 建单尺度结构相似度非局部注意力模块， 所述方法包括： [0006]步骤1、 利用3个1 ×1卷积层对输入信号进行降维并生成g、 和 θ三个特征图； 特征 图g用于表示各位置 输入信号的值， 特 征图 和 θ用于表示表示输入信号的查询和键； [0007]步骤2、 利用高斯核对特 征图 和 θ进行计算均值和方差； [0008] [0009] [0010] [0011] [0012] [0013]其中， 表示卷积运算， ⊙表示点乘运算， wk×k为高斯核， 其尺度大小为k ×k； 表示 θ在各通道上的均值； 表示 θ在各通道上方差； 表示 θ二 者点乘结果在各通道上的方差； [0014]步骤3、 计算特征图 和θ不同空域位置信号之间的在k ×k尺度上的结构相似度， 用于刻画不同空域 位置信号之间的相互关系， 如下式： [0015] 说　明　书 1/4 页 3 CN 114972812 A 3