(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602950.6 (22)申请日 2022.05.30 (71)申请人 深圳科卫机 器人科技有限公司 地址 518000 广东省深圳市南 山区沙河街 道侨香路40 68号智慧广场C 栋2楼201 (72)发明人 游亚东　王一科　迟大鹏　于佳辰　 贾林　涂静一　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 巫苑明 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的人脸及属性识别方法、 系统 及计算机设备 (57)摘要 本发明公开了基于深度学习的人脸及属性 识别方法、 系统及计算机设备， 该方法包括： 获取 监控视频的每一帧监控图像并进行人脸检测， 得 到人脸的人脸位置信息和人脸关键点信息， 根据 人脸位置信息截 取初始人脸图像； 根据人脸关键 点信息计算人脸旋转角度并进行旋转， 得到目标 人脸图像； 将目标人脸图像输入至人脸特征编码 模型中， 得到人脸归属信息； 将目标人脸图像输 入至人脸属性识别模型中进行人脸属性识别， 得 到人脸的年龄信息和性别信息， 并向外输出目标 人脸图像的人脸归属信息、 年龄信息和性别信 息。 本发明利用人脸特征编码模 型和人脸属性识 别模型分别获取人脸归属信息和年龄信息以及 性别信息， 提高了识别效率， 识别效果更加准确。 权利要求书3页 说明书10页 附图2页 CN 115050069 A 2022.09.13 CN 115050069 A 1.一种基于深度学习的人脸及属性识别方法， 其特 征在于， 包括： 获取摄像头拍摄的监控视频， 截取所述监控视频的每一帧监控图像， 并对每一帧监控 图像进行人脸检测， 得到每一帧监控图像中的人脸的人脸位置信息和人脸关键点信息， 并 根据人脸 位置信息对所述人脸进行截取， 得到初始人脸图像； 根据人脸关键点信 息计算所述初始人脸图像的人脸旋转角度， 按照所述人脸旋转角度 对所述初始人脸图像进行旋转， 并对旋转后的初始人脸图像进行尺寸调整以及边缘处理， 得到目标 人脸图像； 将所述目标人脸图像输入至人脸特征编码模型中进行特征编码， 得到当前人脸特征向 量， 并将当前 人脸特征向量与人脸库中的历史人脸特 征向量进行比对， 得到人脸归属信息； 以及， 将所述目标人脸图像输入至人脸属性识别模型中进行人脸属性识别， 得到所述 目标人脸图像中人脸的年龄信息和性别信息， 并向外输出所述目标人脸图像的人脸归属信 息、 年龄信息和性别 信息。 2.根据权利要求1所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述对每 一帧监控图像进 行人脸检测， 得到每一帧监控图像中的人脸的人脸位置信息和人脸关键点 信息， 包括： 将每一帧监控图像输入至基于Mobilenet网络的神经网络模型内对所述监控图像进行 尺寸调整以及减均值操作， 并利用人脸检测算法模型对所述监控图像进行人脸检测， 得到 所述监控图像中的人脸数量以及每 个人脸对应的人脸 位置信息和人脸关键点信息 。 3.根据权利要求1所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述将所 述目标人脸图像输入至人脸特 征编码模型中进行 特征编码， 得到当前 人脸特征向量， 包括： 将所述目标人脸图像进行卷积处理， 并输入至BN层中进行批标准化处理， 并利用激活 函数进行激活得到第一卷积结果； 将所述第一卷积结果输入至残差网络模块内进行 卷积处理， 得到第二卷积结果； 利用预先构建的降维映射矩阵对所述第 二卷积结果进行降维处理， 得到具有指定维度 的当前人脸特征向量。 4.根据权利要求3所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述将所 述第一卷积结果输入至残差网络模块内进行 卷积处理， 得到第二卷积结果， 包括： 将所述第一卷积结果输入至前段残差网络单元内进行卷积处理， 得到第 一前段残差结 果， 并将所述第一前段残差结果输入至中段残差网络单元内进行卷积处理， 得到第一中段 残差结果， 并将所述第一中段残差结果输入至后段残差网络单元内进行卷积处理， 得到第 一后段残差结果； 将所述第一后段残差结果输入至前段残差网络单元内进行卷积处理， 得到第 二前段残 差结果， 并将所述第二前段残差结果输入至多个连续的中段残差网络单元内进行卷积处 理， 得到第二中段残差结果， 并将所述第二中段残差结果输入至后段残差网络单元内进行 卷积处理， 得到第二后段残差结果； 将所述第二后段残差结果输入至前段残差网络单元内进行卷积处理， 得到第 三前段残 差结果， 并将所述第三前段残差结果输入至多个连续的中段残差网络单元内进行卷积处 理， 得到第三中段残差结果， 并将所述第三中段残差结果输入至后段残差网络单元内进行 卷积处理， 得到第三后段残差结果；权　利　要　求　书 1/3 页 2 CN 115050069 A 2将所述第三后段残差结果输入至前段残差网络单元内进行卷积处理， 得到第四前段残 差结果， 并将所述第四前段残差结果输入至中段残差网络单元内进行卷积处理， 得到第四 中段残差结果， 并将所述第四中段残差结果输入至后段残差网络单元内进行卷积处理， 得 到第四后段残差结果。 5.根据权利要求4所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述将所 述第一卷积结果输入至前 段残差网络单 元内进行 卷积处理， 得到第一前 段残差结果， 包括： 将所述第 一卷积结果输入至卷积核为1 ×1的卷积层进行卷积处理， 并将卷积结果输入 至BN层中进行批标准 化处理， 并利用Relu激活函数进行激活， 得到第一前 段卷积结果； 将所述第 一前段卷积结果输入至卷积核为3 ×3的卷积层进行卷积处理， 并将卷积结果 输入至BN层中进行批标准 化处理， 并利用Relu激活函数进行激活， 得到第二前 段卷积结果； 将所述第 二前段卷积结果输入至卷积核为1 ×1的卷积层进行卷积处理， 并将卷积结果 输入至BN层中进行批标准化处理， 得到第一批标准化处理结果， 并将所述第一批标准化处 理结果与所述第一卷积结果进行 特征融合， 得到第一前 段残差结果。 6.根据权利要求4所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述将所 述第一前段残差结果输入至中段残差网络单元内进行卷积处理， 得到第一中段残差结果， 包括： 将所述第一前段残差结果输入至BN层中进行批标准化处理， 并利用Relu激活函数进行 激活， 得到第一中段 卷积结果； 将所述第 一中段卷积结果输入至卷积核为1 ×1的卷积层进行卷积处理， 并将卷积结果 输入至BN层中进行批标准 化处理， 并利用Relu激活函数进行激活， 得到第二中段 卷积结果； 将所述第 二中段卷积结果输入至卷积核为3 ×3的卷积层进行卷积处理， 并将卷积结果 输入至BN层中进行批标准 化处理， 并利用Relu激活函数进行激活， 得到第三中段 卷积结果； 将所述第 三中段卷积结果输入至卷积核为1 ×1的卷积层进行卷积处理， 并将卷积结果 与所述第一前 段残差结果进行 特征融合， 得到第一中段残差结果。 7.根据权利要求4所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述将所 述第一中段残差结果输入至后段残差网络单元内进行卷积处理， 得到第一后段残差结果， 包括： 将所述第一中段残差结果输入至BN层中进行批标准化处理， 并利用Relu激活函数进行 激活， 得到第一后段 卷积结果； 将所述第 一后段卷积结果输入至卷积核为1 ×1的卷积层进行卷积处理， 并将卷积结果 输入至BN层中进行批标准 化处理， 并利用Relu激活函数进行激活， 得到第二后段 卷积结果； 将所述第 二后段卷积结果输入至卷积核为3 ×3的卷积层进行卷积处理， 并将卷积结果 输入至BN层中进行批标准 化处理， 并利用Relu激活函数进行激活， 得到第三后段 卷积结果； 将所述第 三后段卷积结果输入至卷积核为1 ×1的卷积层进行卷积处理， 并将卷积结果 与所述第一中段残差结果进行特征融合， 并将特征融合结果输入至BN层中进 行批标准化处 理， 并利用Relu激活函数进行激活， 得到第一后段残差结果。 8.根据权利要求1所述的基于深度学习的人脸及属性识别方法， 其特征在于， 所述将所 述目标人脸图像输入至人脸属性识别模型中进 行人脸属性识别， 得到所述目标人脸图像中 人脸的年龄信息和性别 信息， 包括：权　利　要　求　书 2/3 页 3 CN 115050069 A 3