(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221085270 0.8 (22)申请日 2022.07.08 (71)申请人 广东警官 学院 （广东省公安司法管 理干部学院） 地址 510230 广东省广州市海珠区滨江东 路500号 (72)发明人 廖广军　陈天朗　王宇飞　 (74)专利代理 机构 广州开耀专利代理事务所 (普通合伙) 44708 专利代理师 冯肖肖　赵君兰 (51)Int.Cl. G06V 40/40(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/30(2022.01) G06V 10/74(2022.01) (54)发明名称 基于面部动作单元强度曲线相似值的伪造 视频检测方法 (57)摘要 本发明属于伪造视频人脸检测技术领域， 具 体是一种基于面部动作单元(简称 “AU”)强度曲 线相似值的伪造视频检测方法， 步骤1： 获取AU强 度值； 步骤2： AU强度曲线预处理； 步骤3： 计算AU 强度曲线相似值； 步骤4： SV M分类器分类检测。 本 发明提供的基于面部动作单元强度曲线相似值 的伪造视频检测方法， 不会因伪造技术缺陷产生 的伪造痕迹减少而降低检测效果， 而且能够在原 始数据集规模不足以提供分类器学习个人特征 范围的情况下， 通过面部动作单元 强度曲线相似 性来实现伪造人脸视频检测判断。 权利要求书1页 说明书4页 附图1页 CN 115171226 A 2022.10.11 CN 115171226 A 1.基于面部动作单元强度曲线相似值的伪造视频检测方法， 其特征在于， 包括下述步 骤： 步骤1： 获取AU强度值： 通过面部动作单元采集模块， 对相同语料的待测视频和样本视 频进行预处理， 得到视频中仅含语者讲话时间段内的AU强度值； 步骤2： AU强度曲线预处理： 所述预处理包括AU类型的选择和AU强度曲线的拟合去噪， 所述AU类型的选择用于提取与说话行为关联度高的AU， 所述AU强度曲线的拟合去噪用于降 低AU强度曲线噪点对于后续计算的干扰； 步骤3： 计算AU强度曲线相似值： 在相同AU类型的前提下， 计算经上述处理后的待测视 频和样本 视频各AU的强度曲线相似值； 步骤4： 分类器的训练与检测： 将待测视频和样本视频的各AU曲线相似值输入到训练好 的分类器中进行比较， 通过分类 器分类检测待测视频 是否为伪造人脸视频； 所述分类器的训练包括在相同语料和AU类型的前提下， 计算同一语者和不同语者的面 部动作单元强度曲线相似值， 得到各AU类型的同一人曲线相似值分布区间和不同人曲线相 似值分布区间作为训练数据集， 提供分类 器进行监 督学习。 2.根据权利要求1所述的基于面部动作单元强度曲线相似值的伪造视频检测方法， 其 特征在于， 所述 步骤1中对视频中AU强度值的获取， 实现步骤 包括： 步骤1.1： 使用面部动作单元采集模块对视频进行分析处理， 得到整段视频中语者的AU 强度量化表； 步骤1.2： 根据步骤1.1得到 的AU强度量化表， 设置AU25作为讲话时间起止点的判断依 据； 对AU强度量化表以5帧为一组正序检测， 当第一帧和最后一帧强度差值≥0.5时， 第一帧 作为讲话的开始时间点； 对AU强度量化表以5帧为一组倒序检测， 当第一帧和最后一帧强度 差值≥0.5时， 最后一帧作为讲话的结束时间点； 根据讲话的起止时间点， 对步骤1.1得到的 AU强度量 化表进行提取简化。 3.根据权利要求2所述的基于面部动作单元强度曲线相似值的伪造视频检测方法， 其 特征在于， 所述 步骤2中的AU强度曲线预处 理， 实现步骤 包括： 步骤2.1： 选择与说话行为关联度高的AU， 对步骤1.2得到的AU强度量化表进行再一次 提取简化； 步骤2.2： 使用Savitzky ‑Golay滤波器对步骤2.1得到的AU强度量化表中的面部动作单 元强度曲线 进行拟合去噪。 4.根据权利要求1所述的基于面部动作单元强度曲线相似值的伪造视频检测方法， 其 特征在于， 所述步骤3中对面部动作单元强度曲线相似值的计算， 包括根据动态规整算法中 的Fast‑DTW算法， 计算待测视频和样本视频各AU的强度曲线相似值， 作为后续分类器的检 测依据。 5.根据权利要求1所述的基于面部动作单元强度曲线相似值的伪造视频检测方法， 其 特征在于， 所述 步骤4中分类 器为SVM分类 器， 分类器的训练， 实现步骤 包括： 步骤4.1： 根据动态规整算法中的Fast ‑DTW算法， 在相同语料和AU类型的前提下， 计算 同一语者和不同语者的面部动作单元强度曲线相似值， 整理得到各AU类型的同一人曲线相 似值分布区间和不同人曲线相似值分布区间作为训练数据集； 步骤4.2： 在Matlab上， 使用上述计算得到的训练数据集， 提供SVM分类 器监督学习。权　利　要　求　书 1/1 页 2 CN 115171226 A 2基于面部动作单元强度曲线相似值的伪造视频检测方 法 技术领域 [0001]本发明属于伪造视频人脸检测技术领域， 具体是一种基于面部动作单元强度曲线 相似值的伪造人脸检测方法。 背景技术 [0002]随着深度伪造技术的深入研究， 网络上出现了越来越多开源的伪造软件和商业应 用， 主要分为两类： 一类是以Faceswap为代表的在GitHub网站上开源的伪造项目； 另一类是 商业化的APP， 提供换脸、 表情交换或者属性篡改等功能。 其中 “一键式”的商业化APP使 得伪 造人脸视频的制作门槛大大降低， 只需用户上传图形或视频即可完成伪造人脸视频制作， 且伪造效果十分逼真， 在人眼的观察下难以区分辨别。 由于伪造人脸视频具有高度欺骗性 及其引发的一系列社会问题， 所以深度伪造视频的检测技术的深入研究变得愈发重要紧 迫。 [0003]当前主流的深度伪造视频检测判断技术分为以下四类： 基于具体伪影的视觉深度 伪造检测， 基于数据驱动的视觉深度伪造检测， 基于信息不一致的视觉深度伪造检， 其他类 型视觉深度造检测。 虽然上述检测方法在针对伪造视频生成过程中， 由于伪造技术缺陷而 产生伪造痕迹的伪造人脸视频中检测效果不错， 但是随着深度伪造检测 技术的发展， 深度 伪造生成技术也会相应地改进， 未来的伪造人脸视频与 原始视频在视觉上的区别 在于人脸 不同， 而脸部动作、 头部姿态、 眼神 光等特征将基本保持一致性， 同时伪造技术缺陷产生的 伪造痕迹将减少， 过去检测方法的检测效果也将会降低。 因此针对脸部动作等生物特征信 息的伪造人脸视频检测判断将会是 未来的研究方向之一。 [0004]胡晓瑞等人在文章 《基于面部动作编码系统的表情生成对抗网络》 (文章[1])中提 出了一种创新的人脸表情合成方法， 通过控制表示不同面部动作单元激活程度的一 维目标 条件向量， 对输入的单张人脸图像， 在保持 图中人物信息和其他部分不变的情况下只改变 目标条件向量对应部位纹 理， 生成与目标表情编码一 致的人脸图像。 [0005]Yuming Gu等人在文章 《Agarwal  Protecting  World Leaders Against Deep  Fakes CVPRW 2019paper》 (文 章[2])中提到， 不同个体讲话时， 会表现出相对不同的面部和 头部运动模式， 因此利用面部动作编码系统， 提取不同个体讲话时的面部动作单元的强度、 频率特征， 将这些特征导入SVM中， 让分类器学习不同人的特征范围， 从而在检测待测视频 时， 查看待测视频的此类特征在哪一人 的特征范围内， 再判断是否与待测视频中的人物为 同一人， 进而判断出是否伪造人脸视频。 但是该方法需要原始视频数据集 足够大， 才可划分 个人特征范围， 实现检测伪造视频， 即该方法的局限在于不适用原始数据集小的情况。 而在 现实生活中， 若发生普通人被换脸视频侵害时， 上述方法不能很好的检测出是否伪造视频， 因为对于普通人很难构建出足够大的原 始视频数据集去供分类 器学习个人 特征范围。 发明内容 [0006]为了克服现有技术的不足， 本发明的目的在于提供基于面部动作单元强度曲线相说　明　书 1/4 页 3 CN 115171226 A 3