(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210554888.8 (22)申请日 2022.05.19 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 甘臣权　肖骏豪　祝清意　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06V 40/16(2022.01) G06T 7/246(2017.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于运动矢量化和宏观表情引导机制的微 表情识别方法 (57)摘要 本发明涉及一种基于运动矢量化和宏观表 情引导机制的微表情识别方法， 属于计算机技术 领域。 方法为： 1、 获取宏观表情和微表情样本的 起始帧与顶点帧； 2、 对1中获取的起始帧与顶点 帧图像进行运动矢量化处理； 3、 对微表情样本对 应的运动矢量化特征进行 非线性放大处理； 4、 采 用面部运动匹配机制对宏观和微观表情样本进 行配对； 5、 通过引导网络实现宏观表情 对微表情 特征提取的引导及强化； 6、 根据引导网络的输出 情感标签对微表情的类别进行识别。 本发明能够 根据面部的运动变化实现对微表情情感的识别， 运用了宏观表情与微表情产生时面部运动状态 的共同特点实现宏表情在微表情特征提取过程 中的引导和强化。 在微表情情感分析领域具有显 著优势。 权利要求书3页 说明书6页 附图3页 CN 115035571 A 2022.09.09 CN 115035571 A 1.基于运动矢量化和宏观表情引 导机制的微表情识别方法， 其特征在于： 该方法包括 以下步骤： 步骤一： 获取宏观 表情和微表情 样本的起始帧与顶点帧； 步骤二： 对步骤一中获取的起始帧与顶点帧图像进行运动矢量 化处理； 步骤三： 对微表情 样本对应的运动矢量 化特征进行非线性 放大处理； 步骤四： 采用面部运动匹配机制对宏观和微观 表情样本进行配对； 步骤五： 通过引导网络实现宏观 表情对微表情特 征提取的引导及强化； 步骤六： 根据引导网络的输出情感标签对微表情的类别进行识别。 2.根据权利要求1所述的基于运动矢量化和宏观表情引导机制的微表情识别方法， 其 特征在于： 所述步骤一中， 从宏观表情和微表情样本中获取情感起始阶段和情感顶峰阶段 的一帧图像。 3.根据权利要求2所述的基于运动矢量化和宏观表情引导机制的微表情识别方法， 其 特征在于： 所述步骤二中， 根据步骤一中获取 的样本起始帧与顶点帧分别对应着情感初期 和情感巅 峰期的面部状态； 起始帧的面部情感是不具有极性的中性情感， 而顶点帧所对应 的面部情感则是最丰富的， 也即是相对于起始帧面部变化最显著； 获取两 帧图像中每一个 像 素 点 的 位 移 变 化 ；将 两 帧 图 像 作 为 输 入 ，通 过 O p e n C v 工 具 包 中 的 calcOpticalFlowFarneback()函数提取两帧图像中每一个像素点的矢量变化， 并转化至 水平和垂直两个方向即得到 两个方向上的运动矢量 化特征矩阵(Xij和Yij)； 其中， i,j分别表示图像的中每列和每行的像素点个数。 4.根据权利要求3所述的基于运动矢量化和宏观表情引导机制的微表情识别方法， 其 特征在于： 所述步骤三中， 在 对微表情样本进行运动矢量化处理之后增加非线性放大 处理； 非线性放大的引入使得面部的显著 运动与非显著 运动的区分度更加明显； 放大函数采用分 段指数形式， 在对运动 强度进行放大 的同时并不会 改变运动的方向； 放大函数中加入的区 分度系数 λ， 当 λ＝2.5放大效果 最佳； 其中， Fx和Fy分别表示放大后的两个方向上的运动矢量化特征， x和y则分别表示运动矢 量化特征的像素的原 始位移。 5.根据权利要求4所述的基于运动矢量化和宏观表情引导机制的微表情识别方法， 其 特征在于： 所述步骤四中， 需要以运动矢量化特征为媒介， 找到每一个微表情运动状态最相 似的宏表情进 行配对； 整个匹配过程在本研究中称之为面部运动匹配机制； 首先， 为 获取特 征的概率分布， 将宏观表情和微表情的运动矢量化特征Fi‑macro和Fi‑micro压缩至1维， 得到二 者的运动矢量 化特征向量；权　利　要　求　书 1/3 页 2 CN 115035571 A 2Vi‑macro＝Flatten(Fi‑macro), Vi‑micro＝Flatten(Fi‑micro), 其中， Vi‑macro和Vi‑micro分别表示宏观表情和微表情的运动矢量化特征向量， Flatten (·)表示特征压缩操作； 根据每一个微表情样本的向量分布通过遍历的方式在宏观表情样本中得到一个与之 相似度最高的宏观表情样本作为其匹配样本； 关于相似度的评价标准在本研究中采用 Wasserstein距离来进行评价， 相似度的高低转化为距离远近的问题； Wasserstein距离相 近则表示相似度高， 反 之则表示相似度较低； Dmin＝Min(D1j,D2j,D3j,…Dij), MinSearch(Dmin)→Vmin‑macro,Vmin‑micro 其中， Dij＝Wasserstein(Vi‑macro,Vj‑micro), Wasserstein( ·)和Min(·)分别表示计算Wasserstein距离操作和获取最小值得操 作， Dij表示第i个宏观表情样本和第j个微表情样本所对应的Wasserstein距离， MinSearch (Dmin)则表示反向搜索最小值对应运动矢量 化特征向量的过程。 6.根据权利要求5所述的基于运动矢量化和宏观表情引导机制的微表情识别方法， 其 特征在于： 所述步骤五中， 将步骤四中获取 的宏观表情和 微表情样本运动矢量化特征 的配 对组合作为引导网络的输入； 在引导网络中， 一 维卷积用于特征向量的前后文关系； 激活函 数的选择为PRelu函数， 作为一种负半轴斜率可训练的激活函数， 在保留关键的强度信息的 同时保留方向信息； 其中， 最大池化操作Maxpool( ·)用于获取显著特征， 和V分别表示特征提取块的输 出特征和输入特 征， σ1(·)表示PRelu激活函数， Co nv1D(·)表示一维卷积 操作； 引导网络中， 宏观表情对微表情特征提取过程的引导增强机制是通过引导块实现的； 在引导增强的过程中， 宏观表情特征和 微观表情特征是分为两个支路分别处理的； 在宏观 表情输入该部分之后首先会经过绝对值处理； 为能够将特征强度转化为权重的形式， 使用 tanh激活函数将特征强度进行压缩， 其压缩后取值范围被控制在了0～1之间； 而微表情特 征则不经过任何处理， 直接与宏观表情的特征权重相乘并得到带有宏观表情特性地微表情 矢量特征F； 其中， 和 分别表示输入的宏观表情和微观表情的特征向量， | ·|表示绝对值 处理， σ2(·)表示tanh 激活函数， 则表示特 征向量间逐 元素相乘操作。 7.根据权利要求6所述的基于运动矢量化和宏观表情引导机制的微表情识别方法， 其 特征在于： 所述步骤六中， 步骤五种获取 的带有宏观表情特性的微表情特征向量作为该部 分的输入， 首先经过全局平均池化操作按照通道维度对特征进行压缩， 缓解权值交互时冗 余信息带来的干扰； 权值交互是通过神经网络权重多层连接的方式实现的， 最终经过权　利　要　求　书 2/3 页 3 CN 115035571 A 3