(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210863924.9 (22)申请日 2022.07.21 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 胡琨　张梦新　石华峰　吴一超　 梁鼎　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 专利代理师 李江　蒋雅洁 (51)Int.Cl. G06F 21/60(2013.01) G06F 21/71(2013.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 扰动信息的生 成方法、 对象识别方法、 装置、 设备及介质 (57)摘要 本公开实施例公开了一种扰动信息的生成 方法、 对象识别方法、 装置、 设备及介质， 其中， 所 述扰动信息的生成方法包括： 获取第一图像和第 二图像； 第一图像是基于第一原始图像和初始扰 动信息确定的图像， 第二图像是基于第二原始图 像和触发器确定的图像； 分别确定第一图像的特 征信息和第二图像的特征信息； 基于第一图像的 特征信息和第二图像的特征信息， 对初始扰动信 息进行更新， 得到目标扰动信息； 其中， 触发器用 于确定已训练的检测模型是否利用第三图像训 练完成的， 第三图像是基于所述目标扰动信息和 第三原始图像确定的， 第一原始图像、 第二原始 图像和第三原 始图像具有相同类型的对象。 权利要求书3页 说明书17页 附图6页 CN 115270151 A 2022.11.01 CN 115270151 A 1.一种扰动信息的生成方法， 其特 征在于， 所述方法包括： 获取第一图像和第 二图像； 所述第 一图像是基于第 一原始图像和初始扰动信 息确定的 图像， 所述第二图像是基于第二原 始图像和触发器确定的图像； 分别确定所述第一图像的特 征信息和所述第二图像的特 征信息； 基于所述第 一图像的特征信 息和所述第 二图像的特征信 息， 对所述初始扰动信 息进行 更新， 得到目标扰动信息； 其中， 所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的， 所述第 三图像是基于所述 目标扰动信息和第三原始图像确定的， 所述第一原始图像、 所述第二原 始图像和所述第三原 始图像具有相同类型的对象。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一图像的特征信 息和所述 第二图像的特 征信息， 对所述初始扰动信息进行 更新， 得到目标扰动信息， 包括： 基于所述第一图像的特 征信息和所述第二图像的特 征信息， 确定第一损失值； 获取基于所述初始扰动信息确定的第二损失值； 基于所述第一损 失值和所述第二损 失值， 对所述初始扰动信息进行更新， 得到所述目 标扰动信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述分别确定所述第 一图像的特征信 息和 所述第二图像的特 征信息， 包括： 从预设的特征提取模型集合中， 选取至少两个特征提取模型； 不同所述特征提取模型 使用不同场景的训练数据进行训练得到和/或不同所述特 征提取模型的模型 结构不同； 基于每一所述特征提取模型， 分别对所述第一图像和所述第二图像进行特征提取， 得 到一组所述第一图像的特 征信息和所述第二图像的特 征信息； 所述基于所述第一图像的特征信息和所述第二图像的特征信息， 确定第一损 失值， 包 括： 基于每一组所述第 一图像的特征信 息和所述第 二图像的特征信 息， 确定每一所述特征 提取模型对应的子损失值； 基于所有所述子损失值的和， 确定所述第一损失值。 4.根据权利要求2或3所述的方法， 其特征在于， 所述获取基于所述初始扰动信息确定 的第二损失值， 包括： 从用于表征 所述初始扰动信息的矩阵所有元 素的元素值中， 确定最大的元 素值； 将所述最大的元 素值确定为所述第二损失值。 5.根据权利要求2至4任一项所述的方法， 其特征在于， 所述基于所述第一损 失值和所 述第二损失值， 对所述初始扰动信息进行 更新， 得到所述目标扰动信息， 包括： 基于所述第一损失值和所述第二损失值， 确定当前 更新方向； 基于初始更新 步长和当前 更新次数， 确定当前 更新步长； 基于所述当前更新方向和所述当前更新步长， 对所述初始扰动信息进行更新， 得到所 述目标扰动信息 。 6.根据权利要求1至 5任一项所述的方法， 其特 征在于， 所述方法还 包括： 获取所述第一原 始图像和用于表征 所述初始扰动信息的矩阵； 基于所述第一原始图像中每一像素的位置信息和用于表征所述初始扰动信息的矩阵权　利　要　求　书 1/3 页 2 CN 115270151 A 2中每一元素 的位置信息， 确定所述像素与所述元素之间的对应关系； 所述第一原始图像的 分辨率和用于表征所述初始扰动信息的矩阵的维度相同， 用于表征所述初始扰动信息的矩 阵中每一元 素的元素值为预设数值范围内的随机数； 基于所述对应关系， 将所述像素的像素值和所述元素的元素值相加， 得到所述第一图 像。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述触发器包括色块图像， 所述 色块图像的分辨 率小于所述第二原 始图像的分辨 率； 其特征在于， 所述方法还 包括： 确定所述第 二原始图像中的替换区域； 所述替换区域的分辨率与所述色块图像的分辨 率相同； 将所述替换区域的图像替换为所述色块图像， 得到所述第二图像。 8.一种对象识别方法， 其特 征在于， 所述方法包括： 获取第三图像和第四图像； 其中， 所述第三图像是基于目标扰动信息和第三原始图像 确定的， 所述第四图像是基于第四原 始图像和与所述目标扰动信息对应的触发器确定的； 基于已训练的检测模型分别对所述第 三图像和所述第四图像进行特征提取， 得到所述 第三图像的特 征信息和所述第四图像的特 征信息； 比对所述第三图像的特 征信息与所述第四图像的特 征信息之间的相似度； 响应于所述相似度大于预设阈值的情况下， 确定所述已训练的检测模型是利用所述第 三图像训练完成的； 其中， 所述第三原 始图像和所述第四原 始图像具有相同类型的对象。 9.一种扰动信息的生成装置， 其特 征在于， 包括： 第一获取模块， 用于获取第一图像和第二图像； 所述第一图像是基于第一原始图像和 初始扰动信息确定的图像， 所述第二图像是基于第二原 始图像和触发器确定的图像； 第一确定模块， 用于分别确定所述第一图像的特 征信息和所述第二图像的特 征信息； 更新模块， 用于基于所述第一图像的特征信息和所述第二图像的特征信息， 对所述初 始扰动信息进行 更新， 得到目标扰动信息； 其中， 所述触发器用于确定已训练的检测模型是否利用第三图像训练完成的， 所述第 三图像是基于所述 目标扰动信息和第三原始图像确定的， 所述第一原始图像、 所述第二原 始图像和所述第三原 始图像具有相同类型的对象。 10.一种对象识别装置， 其特 征在于， 包括： 第二获取模块， 用于获取第 三图像和第四图像； 其中， 所述第三图像是基于目标扰动信 息和第三原始图像确定的， 所述第四图像是基于第四原始图像和与所述目标扰动信息对应 的触发器确定的； 提取模块， 用于基于已训练 的检测模型分别对所述第 三图像和所述第四图像进行特征 提取， 得到所述第三图像的特 征信息和所述第四图像的特 征信息； 对比模块， 用于比对所述第 三图像的特征信 息与所述第四图像的特征信 息之间的相似 度； 第二确定模块， 用于响应于所述相似度大于预设阈值的情况下， 确定所述已训练的检 测模型是利用所述第三图像训练完成的； 其中， 所述第三原 始图像和所述第四原 始图像具有相同类型的对象。权　利　要　求　书 2/3 页 3 CN 115270151 A 3