(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210870504.3 (22)申请日 2022.07.22 (65)同一申请的已公布的文献号 申请公布号 CN 115083001 A (43)申请公布日 2022.09.20 (73)专利权人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 刘祥龙　王嘉凯　王雨轩　尹子鑫　 (74)专利代理 机构 北京汲智翼成知识产权代理 事务所(普通 合伙) 11381 专利代理师 陈曦　贾兴昌 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/24(2022.01) G06V 10/74(2022.01)(56)对比文件 CN 112364915 A,2021.02.12 CN 113989898 A,202 2.01.28 审查员 陈静 (54)发明名称 基于图像敏感位置定位的对抗补丁生成方 法与装置 (57)摘要 本发明公开了一种基于图像敏感位置定位 的对抗补丁生成方法与装置。 该方法包括如下步 骤： 获取原始图像， 将原始图像作为视觉转换器 模型的输入样本图像； 其中， 视觉转换器模型包 括奇异值分析模块和全局注意力优化模块； 奇异 值分析模块将输入样本图像分割为互不重叠的 图像块， 并对互不重叠的图像块进行奇异值分 析， 根据奇异值生成重建图像； 计算重建图像的 局部敏感性， 根据局部敏感性选择重建图像中敏 感性最强的图像块作为初始对抗补丁， 根据初始 对抗补丁生成对抗样本图像； 将对抗样本图像和 原始图像输入到全局注意力优化模块， 获得原始 图像的最终对抗补丁。 利用本发明， 可 以提高对 抗样本图像的攻击性能。 权利要求书2页 说明书7页 附图5页 CN 115083001 B 2022.11.22 CN 115083001 B 1.一种基于图像敏感位置 定位的对抗补丁 生成方法， 其特 征在于包括如下步骤： 获取原始图像， 将所述原始图像作为视觉转换器模型的输入样本图像； 其中， 所述视觉 转换器模型包括奇异值分析模块和全局注意力优化模块； 所述奇异值分析模块将所述输入样本图像分割为互不重叠的图像块， 并对所述互不重 叠的图像块进行奇异值分析， 根据所述奇异值 生成重建图像； 计算所述重建图像的局部敏感性， 根据所述局部敏感性选择所述重建图像中敏感性最 强的图像块作为初始对抗补丁， 根据所述初始对抗补丁 生成对抗样本图像； 其中， 采用图像结构相似性算法， 计算输入样本图像x与使用前r个奇异值进行图像低 秩近似得到的重建图像Yr之间的图像结构相似性， r为 正整数， 相应公式如下： 上式中， SSIM表示图像结构相似性算法， μ， σ 分别代表矩阵均值和方差， σxy为两个矩阵 的协方差， c1、 c2为固定的常数； 从预定的奇异值开始， 不断增加奇异值数量进行图像低秩近似， 得到一系列重建图像 Yr； 当重建图像Yr与输入样本图像x的相似度达 到给定的阈值时， 中止 重建过程； 使用该重建图像Yr进行局部敏感性的计算， 相应公式如下： 上式中， Y1为使用最大的奇异值重建得到的低秩近似图像， 对应输入样本图像的低频分 量信息， Yr为用前r个奇异值重建得到的重建图像， 包含输入样本图像的中高频等细节信 息； 和 表示两幅图像对应区域的局部图像， 表示两个局部图像之间的距 离； 将所述对抗样本图像和所述原始图像输入到所述全局 注意力优化模块， 获得所述原始 图像的最终对抗补丁； 其中， 全局注意力损失 的相应公式如下： 上式中， Ak为所述视觉转换器模型在第k层计算得到的注意力矩阵， 是一个N ×N大小的 矩阵； 和 分别为输入样本图像和对抗样本图像的注意力矩阵； 对抗补丁的分类损失 的相应公式如下： 其中， δ为对抗扰动， y为输入样本图像的真实类别， 为所述视觉转换器模型； 根据全局 注意力损失 和分类损失 获得对抗扰动的更新值； 根据所述对抗扰动的更新值确 定是否继续重新选择初始对抗补丁； 其中， 对抗扰动 δ 的优化 通过如下公式表示： 其中， t代表迭代次数， α代表每次迭代中像素更新的幅值， clip( ·)为剪裁函数； 通过 更新迭代对抗扰动， 筛 选出最优的对抗样本图像， 作为所述 最终对抗补丁。权　利　要　求　书 1/2 页 2 CN 115083001 B 22.如权利要求1所述基于图像敏感位置定位的对抗补丁生成方法， 其特征在于： 所述奇 异值分析模块使用不同数量的奇异 值进行图像低秩近似， 得到与输入样本图像相似的重建 图像。 3.如权利要求1所述基于图像敏感位置定位的对抗补丁生成方法， 其特征在于： 所述给 定阈值为0.85～1之间。 4.一种基于图像敏感位置定位的对抗补丁生成装置， 其特征在于包括处理器和存储 器， 所述处理器读取所述存储器中的计算机程序， 用于执行权利要求1～3中任意一项所述 的对抗补丁 生成方法。权　利　要　求　书 2/2 页 3 CN 115083001 B 3