(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210811762.4 (22)申请日 2022.07.08 (71)申请人 广东警官 学院 （广东省公安司法管 理干部学院） 地址 510230 广东省广州市海珠区滨江东 路500号 (72)发明人 廖广军　袁若萱　王宇飞　 (74)专利代理 机构 广州开耀专利代理事务所 (普通合伙) 44708 专利代理师 冯肖肖　赵君兰 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 20/40(2022.01) (54)发明名称 一种基于面部动作单元的伪造视频人像检 测方法 (57)摘要 本发明属于伪造视频人像检测技术领域， 具 体是一种基于面部动作单元的伪造视频人像检 测方法， 步骤1： 提取面部动作单元数据及头部旋 转角度数据； 步骤2： 构建面部运动特征矩阵； 步 骤3： 数据降维； 步骤4： 分类器的训练与检测。 本 发明提供的一种基于面部动作单元的伪造视频 人像检测方法， 直接通过利用面部动作单元采集 程序提取到的数据进行分析并检测， 改进了数据 通过核函数映射到高维空间的思路， 改用数据降 维的新思路， 不用额外提取更多无法检测到的面 部编码系统中的数据， 同时， 在检测结果的基础 上， 对比人脸数据库， 排查出伪造视频中的原始 人物。 权利要求书1页 说明书4页 附图1页 CN 115063870 A 2022.09.16 CN 115063870 A 1.一种基于面部动作单 元的伪造 视频人像检测方法， 其特 征在于， 包括下述 步骤： 步骤1： 获取面部动作单元数据及头部旋转角度 数据： 通过面部动作单元采集模块获取 人像视频中的面部动作单 元数据和头 部旋转角度数据； 步骤2： 构建面部运动特征矩阵： 将提取到的面部动作单元序列以及头部旋转角度序列 按照编号排列， 将同一视频生成的各组面部动作单元数据以及头部旋转角度数据根据时间 维度t和序列个数n构建特定的人像信息矩阵Xt*n， 并通过比较同一视频生成的各组人像信 息矩阵间各序列的余弦相似度， 得到不同序列之间相似度， 从而反应面部动作单元以及头 部旋转运动间的总体特征， 通过余弦相似度分析， 得到各组人像信息矩阵间各序列之间的 相关特征序列， 每 个样本的特 征序列构建生成面部运动特 征矩阵； 步骤3： 数据降维： 对生成的面部运动特征矩阵进行数据降维， 得到特征向量， 根据 特征 值的大小确定信息的贡献率， 根据信息贡献率大小， 选择贡献率最大 的特征值对应的特征 向量； 步骤4： 分类器的训练与检测： 将真假人像视频得到的两两特征向量与检测对象的人脸 数据库得到的特征向量进行相似性比较， 得到两两特征向量之间的距离， 从而得到真假视 频与检测对 象原始视频人脸特征 的差异程度， 将多组得到的距离进行二分类， 通过运用极 大似然法进行参数估计， 从而训练得到分类器， 通过分类器分类检测待测视频是否为伪造 人脸视频。 2.根据权利要求1所述的基于面部动作单元的伪 造视频人像检测方法， 其特征在于， 所 述步骤3中， 运用主成分 分析的方法对生成的所述 面部运动特 征矩阵进行 数据降维。 3.根据权利要求1所述的基于面部动作单元的伪 造视频人像检测方法， 其特征在于， 所 述步骤4中， 通过frec het距离进行 所述相似性比较。 4.根据权利要求1所述的基于面部动作单元的伪 造视频人像检测方法， 其特征在于， 所 述步骤4中， 运用二元l ogistic进行 所述二分类。权　利　要　求　书 1/1 页 2 CN 115063870 A 2一种基于面部动作单元的伪造视频人像检测方 法 技术领域 [0001]本发明属于伪造视频人像检测技术领域， 具体是一种基于面部动作单元的伪造视 频人像检测方法。 背景技术 [0002]现有的国内外伪造检测技术主要分为基于具体伪影的视觉深度伪造检测， 基于数 据驱动的视觉深度伪造检测， 基于信息不一致的视觉深度伪造检测， 以及其他类型视觉深 度伪造检测四种类型。 虽然上述检测方法在针对伪造视频生成过程中， 由于伪造技术缺陷 而产生伪造痕迹的伪造人脸视频中检测效果不错， 但是随着深度伪造检测技术的发展， 深 度伪造生成技术也会相应地改进， 未来的伪造人脸视频与 原始视频在视觉上的区别 在于人 脸不同， 而脸部动作、 头部姿态、 眼神光等特征将基本保持一致性， 同时伪造技术缺陷产生 的伪造痕迹将减少， 过去检测方法的检测效果 也将会降低。 [0003]胡晓瑞等人在 《基于面部动作编码系统的表情生成对抗网络》 基于面部动作表情 编码系统提出了一种创新的人脸表情合成方法， 通过控制表示不同面部动作单元激活程度 的一维目标条件向量， 对输入的单张人脸图像， 在保持 图中人物信息和 其他部分不变的情 况下只改变目标 条件向量对应部位纹 理， 生成与目标表情编码一 致的人脸图像。 [0004]Yuming Gu等人在 《Agarwal  Protecting  World Leaders Against Deep Fakes  CVPRW2019paper》 中利用面部动作编码系统， 将面部动作单元运用在深度伪造检测中， 结合 头部姿势提取人像变化过程中的强度、 频率特征， 将这些特征导入SVM中， 让分类器学习不 同人的特征范围， 从而实现伪造人像视频的检测。 但是该方法需要原始视频数据集 足够大， 才可划分个人特征范围， 实现检测伪造视频。 即该方法的局限在于不适用原始数据集小的 情况。 而在现实生活中， 若发生普通人被换脸视频侵害时， 上述方法不能很好的检测出是否 伪造视频， 因为对于普通人很难构建出足够大的原始视频数据集去供分类器学习个人特征 范围。 发明内容 [0005]为了克服现有技术的不足， 本发明的目的在于提供一种基于面部动作单元的伪造 视频人像检测方法， 直接通过利用面部动作单元(简称 “AU”)采集程序提取到的数据进 行分 析并检测， 改进了数据通过核函数映射到高维空间的思路， 改用数据降维的新思路， 不用额 外提取更多 无法检测到的面部编 码系统中的数据， 同时， 在检测结果的基础上， 对比人脸数 据库， 排查出伪造 视频中的原 始人物。 [0006]为解决上述 技术问题， 本发明采用的技 术方案是： [0007]一种基于面部动作单 元的伪造 视频人像检测方法， 其特 征在于， 包括下述 步骤： [0008]步骤1： 获取面部动作单元数据及头部旋转角度数据： 通过面部动作单元采集模块 获取人像视频中的面部动作单 元数据和头 部旋转角度数据； [0009]步骤2： 构建面部运动特征矩阵： 将提取到的面部动作单元序列以及头部旋转角度说　明　书 1/4 页 3 CN 115063870 A 3