(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615124.5 (22)申请日 2022.06.01 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件科技园华 南师范大学软件学院 (72)发明人 曹一波　刘顺　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/26(2022.01)G06T 17/20(2006.01) G06T 7/73(2017.01) G06T 7/66(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01) (54)发明名称 三维人脸识别方法、 装置、 电子设备及存储 介质 (57)摘要 本发明涉及一种三维人脸识别方法， 包括步 骤： 获取待识别的三维人脸点云数据； 将所述待 识别的三维人脸点云数据输入RP ‑net网络模型 中， 得到局部 ‑全局人脸特征； 将所述局部 ‑全局 人脸特征与一候选人脸的人脸特征进行相似性 度量， 得到相似性度量值， 根据所述相似性度量 值判断待识别的三维人脸点云数据是否为该候 选人脸。 相对于现有技术， 本发明提供一种三维 人脸识别方法通过RP ‑net网络模型对三维人脸 点云数据进行特征提取， 在RP ‑net网络模型的特 征提取中同时捕捉人脸的局部特征和全局特征， 其中局部 特征可以更详细地描述人脸特征， 能够 提高对三维人脸的识别准确率。 权利要求书3页 说明书8页 附图3页 CN 114842543 A 2022.08.02 CN 114842543 A 1.一种三维人脸识别方法， 其特 征在于， 包括 步骤： 获取待识别的三维人脸 点云数据； 将所述待识别的三维人脸点云数据输入RP ‑net网络模型中， 得到局部 ‑全局人脸特征， 其中， 所述RP ‑net网络模 型包括采样模块、 分组模块和特征提取模块， 所述采样模块用于对 所述待识别的三维人脸 点云数据进行采样， 得到若干个关键点； 所述分组模块用于以每一所述关键点为圆心， 以特征提取半径值r为半径， 得到若干个 圆形区域； 根据所述圆形区域划将所述待识别的三维人脸点云数据进行分组， 得到若干关 键点云数据集； 所述特征提取模块包括第一变换层、 局部特征标记层、 第一MLP层、 第二变换层、 第二 MLP层和池化层， 其中所述第一变换层用于对每一所述关键点云数据集进 行对齐操作； 所述 局部特征标记层用于将所述第一变换层输出的关键点云数据集分别围绕三维坐标轴旋转T 个旋转角度{θk}， k＝1,2,...,T， 得到对应三个三维坐标轴的旋转点云数据集Q ′x( θk)， Q′y ( θk)， Q′z( θk)； 分别将所述旋转点云数据集Q ′x( θk)， Q′y( θk)， Q′z( θk)在三维坐标轴所在的三 个平面上投影， 得到对 应的投影 点云数据集； 分别将所述投影 点云数据集平均分为Nb×Nb个 网格， 并计算每一所述网格中的点云数据量， 得到对应的分布矩阵Dx， Dy， Dz； 分别根据所述 分布矩阵Dx， Dy， Dz获得对应的中心矩 μmn和香农熵e； 分别根据所述中心矩 μmn和香农熵e获得 对应三个三维坐标轴的子特征描述符fx( θk)， fy(θk)， fz( θk)； 将子特征描述符fx( θk)， fy ( θk)， fz( θk)进行聚合， 得到局部特征描述符f； 所述第一MLP层用于根据所述局部特征描述 符f对所述第一变换层输出 的关键点云数据集进行升维操作； 所述第二变换层用于对所述 第一MLP层输出的关键点云数据集进 行对齐操作； 所述第二MLP层用于对所述第二变换层输 出的关键点云数据集进行升维操作； 所述池化层用于对所述第二MLP层输出 的关键点云数 据集进行最大池化操作， 得到所述局部 ‑全局人脸特 征； 将所述局部 ‑全局人脸特征与一候选人脸的人脸特征进行相似性度量， 得到相似性度 量值， 根据所述相似性度量 值判断待识别的三维人脸 点云数据是否为该候选人脸。 2.根据权利要求1所述的方法， 其特征在于， 获取待识别的三维人脸点云数据后， 还包 括步骤： 对所述待识别的三维人脸 点云数据进行 水平切片， 得到多个水平轮廓图； 针对每一所述水平轮廓图， 在水平轮廓边线上放置若干探测点， 以每一探测点为圆心 设一探测圆， 获取所述探测圆与所述水平轮廓边线的两个交点到对应探测点的探测距离， 确定最大的所述探测距离对应的所述探测点 为鼻尖候选点； 确定所述探测距离最大的鼻尖候选点 为鼻尖点； 计算所述待识别的三维人脸点云数据中每一数据点与 所述鼻尖点的距离， 裁除距离大 于预设距离的所述数据点。 3.根据权利要求1所述的方法， 其特征在于， 获取待识别的三维人脸点云数据后， 还包 括步骤： 针对所述待识别的三维人脸点云数据中的每一数据点， 获取同一领域内的数据点 的中值坐标， 将该 数据点的坐标替换为该中值 坐标。 4.根据权利要求3所述的方法， 其特征在于： 针对所述待识别的三维人脸点云数据中的 每一数据点， 获取同一领域内的数据点的中值坐标， 将该数据点的坐标替换为该中值坐标 后， 还包括步骤： 通过三次插值对所述待识别的三维人脸 点云数据进行缺 孔的填充。权　利　要　求　书 1/3 页 2 CN 114842543 A 25.根据权利要求1所述的方法， 其特征在于， 获取待识别的三维人脸点云数据后， 还包 括步骤： 获取所述待识别的三维人脸点云数据中的每一数据点的法向量， 并将所述法向量 加入所述待识别的三维人脸 点云数据中。 6.根据权利要求1所述的方法， 其特 征在于， 所述中心 矩 μmn的表达式为 其中， D(i,j)表示分布矩阵D的第i行第j 列， D＝[Dx,Dy,Dz]， μmn＝[ μ11, μ12, μ21, μ22]。 7.根据权利要求1所述的方法， 其特 征在于， 所述相似性度量 值为最近邻距离比值。 8.一种三维人脸识别装置， 其特 征在于， 包括： 数据获取模块， 用于获取待识别的三维人脸 点云数据； 特征获取模块， 用于将所述待识别的三维人脸点云数据输入RP ‑net网络模型中， 得到 局部‑全局人脸特征， 其中， 所述 RP‑net网络模 型包括采样模块、 分组模块和特征提取模块， 所述采样模块用于对所述待识别的三维人脸 点云数据进行采样， 得到若干个关键点； 所述分组模块用于以每一所述关键点为圆心， 以特征提取半径值r为半径， 得到若干个 圆形区域； 根据所述圆形区域划将所述待识别的三维人脸点云数据进行分组， 得到若干关 键点云数据集； 所述特征提取模块包括第一变换层、 局部特征标记层、 第一MLP层、 第二变换层、 第二 MLP层和池化层， 其中所述第一变换层用于对每一所述关键点云数据集进 行对齐操作； 所述 局部特征标记层用于将所述第一变换层输出的关键点云数据集分别围绕三维坐标轴旋转T 个旋转角度{θk}， k＝1,2,...,T， 得到对应三个三维坐标轴的旋转点云数据集Q ′x( θk)， Q′y ( θk)， Q′z( θk)； 分别将所述旋转点云数据集Q ′x( θk)， Q′y( θk)， Q′z( θk)在三维坐标轴所在的三 个平面上投影， 得到对 应的投影 点云数据集； 分别将所述投影 点云数据集平均分为Nb×Nb个 网格， 并计算每一所述网格中的点云数据量， 得到对应的分布矩阵Dx， Dy， Dz； 分别根据所述 分布矩阵Dx， Dy， Dz获得对应的中心矩 μmn和香农熵e； 分别根据所述中心矩 μmn和香农熵e获得 对应三个三维坐标轴的子特征描述符fx( θk)， fy(θk)， fz( θk)； 将子特征描述符fx( θk)， fy ( θk)， fz( θk)进行聚合， 得到局部特征描述符f； 所述第一MLP层用于根据所述局部特征描述 符f对所述第一变换层输出 的关键点云数据集进行升维操作； 所述第二变换层用于对所述 第一MLP层输出的关键点云数据集进 行对齐操作； 所述第二MLP层用于对所述第二变换层输 出的关键点云数据集进行升维操作； 所述池化层用于对所述第二MLP层输出 的关键点云数 据集进行最大池化操作， 得到所述局部 ‑全局人脸特 征； 匹配模块， 用于将所述局部 ‑全局人脸特征与一候选人脸的人脸特征进行相似性度量， 得到相似性度量值， 根据所述相似性度量值判断待识别的三 维人脸点云数据是否为该候选 人脸。 9.一种电子设备， 其特 征在于， 包括： 处理器； 存储器， 用于存 储由所述处 理器执行的计算机程序； 其中， 所述处 理器执行所述计算机程序时实现权利要求1 ‑7中任一项所述方法的步骤。权　利　要　求　书 2/3 页 3 CN 114842543 A 3