(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087958 8.7 (22)申请日 2022.07.25 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 高志鹏　黄仁裕　吴俊毅　赵建强　 张辉极　杜新胜　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像patch序损失的人脸鉴伪方 法、 系统及 介质 (57)摘要 本申请提出了一种基于图像patch序损失的 人脸鉴伪方法， 包括： S1、 获取包含训练图像及其 标签信息的人像鉴伪数据集； S2、 对所述人像鉴 伪数据集进行数据处理， 包括： 对所述训练图像 进行均匀切割并打乱所述训练图像的初始patch 序列集合， 得到所述训练图像的第一patch序列 集合； 对所述第一pat ch序列集合进行增强处理， 得到第二patch序列集合； 将不同所述训练图像 的所述第一patch序列集合和所述第二patch序 列集合中的patch块进行随机交换， 从而得到处 理后的人像鉴伪数据集； S3、 利用所述处理后的 人像鉴伪数据集训练得到神经网络分类模型； S4、 将待检测图像输入到 所述神经网络分类模型 中。 本申请的人像鉴伪方法极大的节约了训练成 本和数据收集成本， 并且具有较高的判别准确 性。 权利要求书2页 说明书7页 附图2页 CN 115147908 A 2022.10.04 CN 115147908 A 1.一种基于图像patc h序损失的人脸 鉴伪方法， 其特 征在于， 包括以下步骤： S1、 获取包含训练图像及其标签信息的人像鉴伪数据集， 其中所述训练图像至少包括 人脸区域； S2、 对所述人像鉴伪数据集进行 数据处理， 所述数据处 理包括： 对所述训练图像进行均匀切割并打乱所述训练图像的初始patch序列集合， 得到所述 训练图像的第一patc h序列集合； 对所述第一patc h序列集合进行增强处 理， 得到第二patc h序列集合； 将不同所述训练图像的所述第一patch序列 集合和所述第二patch序列集合 中的patch 块进行随机交换， 从而得到处 理后的人像鉴伪数据集； S3、 利用所述处 理后的人像鉴伪数据集训练得到神经网络分类模型； 以及 S4、 将待检测图像输入到所述神经网络分类模型中， 得到鉴定结果。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤S2中所述打乱所述训练图像的初 始patch序列集合具体包括： 从所述初始patch序列集合中筛选出一个第一patch块， 并求取 出所述初始patch序列集合中其余patch块与所述第一patch块相似度距离最大的第二 patch块， 将所述第一patch块与所述第二patch块进行交换； 重复上述操作， 直至所有patch 块均完成一次交换。 3.根据权利要求1所述的方法， 其特征在于， 所述步骤S2中所述对所述第一patch序列 集合进行增强处 理具体包括： 对所述第一patch序列集合 中的patch块进行随机旋转、 亮度调整、 色差调整、 改变压缩 质量、 灰度化处 理； 将所述第一patch序列集合中的patch块两两按照预设比例混合， 并保留其中一个 patch块的顺序与主语义。 4.根据权利要求1所述的方法， 其特征在于， 所述步骤S 1中所述人像鉴伪数据集至少包 括全图生成集、 人脸交换集、 表情重演集、 美颜集及人脸属性编辑集5种数据集， 其中伪造图 像和自然图像的比例为1： 1。 5.根据权利要求4所述的方法， 其特征在于， 所述步骤S3 中所述利用所述处理后的数据 集训练得到神经网络分类模型 具体包括： 获取处理后的训练图像和处理后的标签信 息对应的第 一损失函数、 第 二损失函数和第 三损失函数， 其中所述第一损失函数用于表征所述处理后的训练图像和所述处理后的标签 信息产生的损失， 所述第二损失函数用于表征所述处理后的训练 图像中patch序列预测和 真实序列之间的损失， 所述第三损失函数用于对所述处理后的训练图像中的patch块归属 进行判断； 根据所述第 一损失函数、 所述第 二损失函数和所述第 三损失函数对所述神经网络分类 模型进行 联合训练， 以对所述神经网络分类模型的参数进行调整。 6.根据权利要求5所述的方法， 其特征在于， 所述第 一损失函数和所述第 二损失函数均 由交叉熵损失函数构成， 所述第一损失函数和所述第二损失函数的联合定义 为：权　利　要　求　书 1/2 页 2 CN 115147908 A 2其中， S为伪造图像种类指标集， Np为每种伪造方法涉及的样本指标子集容量， Lc是第一 损失函数， h是卷积神经网络， 与 为patch块打乱前与pat ch块打乱后的样本， θf、 θc与 θd 均为卷积神经网络的各部分参数， 为图像内容 标签， Kp为patch块打乱后产生的样本指标 子集容量， α 是权 重， Ld是第二损失函数， 为真实序列标签。 7.根据权利要求5所述的方法， 其特征在于， 所述第三损 失函数为二值交叉熵函数， 所 述第三损失函数的形式化定义 为： 其中， yi为真实标签， 为卷积神经网络 推理得到的标签 。 8.根据权利要求2所述的方法， 其特征在于， 通过图像相似度对比模型计算两个patch 块之间的相似度距离， 所述图像相似度对比模型的形式化定义 为： 其中， G为深度卷积神经网络， θ为模型参数集合， Ip为图像RGB内容， 整体采用欧式距离 进行CNN线性层特 征的比对。 9.一种基于图像patc h序损失的人脸 鉴伪系统， 其特 征在于， 包括： 样本获取模块， 配置用于获取包含训练图像及其标签信息的人像鉴伪数据集， 其中所 述训练图像至少包括人脸区域； 样本处理模块， 配置用于对所述人像鉴伪数据集进行数据处理， 所述数据处理包括： 对 所述训练图像进行均匀切割并打乱所述训练图像的初始patch序列集合， 得到所述训练图 像的第一patch序列集合； 对 所述第一patch序列集合进行增强处理， 得到第二patch序列集 合； 将不同所述训练图像的所述第一patch序列集合和所述第二patch序列集合中的patch 块进行随机交换， 从而得到处 理后的人像鉴伪数据集； 训练模块， 配置用于利用所述处 理后的人像鉴伪数据集训练得到神经网络分类模型； 鉴伪模块， 配置用于将待检测图像输入到所述神经网络分类模型中， 得到鉴定结果。 10.一种计算机可读储存介质， 其储存有计算机程序， 所述计算机程序在被处理器执行 时实施如权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115147908 A 3