(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210566142.9 (22)申请日 2022.05.24 (65)同一申请的已公布的文献号 申请公布号 CN 114663965 A (43)申请公布日 2022.06.24 (73)专利权人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 专利权人 浙江工商大 学 (72)发明人 黎晨阳　徐冠雷　徐晓刚　王军　 何鹏飞　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉(51)Int.Cl. G06V 40/16(2022.01) G06V 10/30(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111539351 A,2020.08.14 WO 2019091271 A1,2019.0 5.16 WO 20191283 67 A1,2019.07.04 审查员 张博 (54)发明名称 一种基于双阶段交替学习的人证比对方法 和装置 (57)摘要 本发明公开一种基于双阶段交替学习的人 证比对方法和装置， 该方法包括： 步骤一： 收集人 脸图像； 步骤二： 将收集的人脸图像进行裁剪、 水 平翻转、 去噪、 亮度增强和对比度增强处理后， 得 到人脸图像数据集， 即训练集， 并将训练集 分批； 步骤三： 将经过处理后的训练集的图像依批次输 入到卷积神经网络， 使用余弦损失函数或者三元 组损失函数的双阶段交替的人脸类别训练， 得到 训练好的人证比对模型； 步骤四： 将要进行人证 比对的摄像头图像和证件图像输入训练好的人 证比对模型， 提取人脸特征， 计算人脸相似度， 输 出人证比对 结果。 本发明有效提升了人证比对的 准确率， 实现余弦损失函数与三元组损失函数的 结合， 具有重大的应用价 值。 权利要求书2页 说明书6页 附图3页 CN 114663965 B 2022.10.21 CN 114663965 B 1.一种基于双阶段交替学习的人证比对方法， 其特 征在于， 包括以下步骤： 步骤一： 收集人脸图像， 并对人脸图像进行 数据标注； 步骤二： 将步骤一收集的人脸图像进行裁剪、 水平翻转、 去噪、 亮度增强和对比度增强 处理后， 得到人脸图像数据集， 即训练集， 并将训练集分批； 步骤三： 将经过步骤二处理后的训练集的图像依批次输入到卷积神经网络中， 完成使 用余弦损失函数或者三元组损失函数的双阶段交替的人脸类别训练， 得到训练好的人证比 对模型， 具体为： 将经过步骤二处理后的训练集的图像依批次输入到卷积神经网络中， 所述 卷积神经网络中Softmax层输出人脸图像的特征向量， 该特征向量依训练批次分别送入余 弦损失函数或者三元组损失函数进行双阶段交替训练， 计算损失值， 再通过反向传播的方 式更新卷积神经网络的权重， 重复进 行双阶段交替训练直至余弦损失函数和三元组损失函 数收敛， 完成对卷积神经网络的训练； 所述余弦损失函数其计算公式为： 其中， n为一批输入卷积神经网络的人脸图像的数量， i为n的索引， 为目标类别的特 征向量， j为非目标类别的特征向量， 为输入的第i张人脸图像的特征向量与 之间的夹 角， 为输入的第i张人脸图像的特征向量与j之间的夹角， C为训练数据中人脸图像的类别 总数， s为预 先设定的余弦值 放大尺度， m为预 先设定的余弦夹角间隔， s与m均为固定值； 所述三元组损 失函数具体为： 其中三元组的选取方式为： 在本批次图像中随机选取一 个证件图像样本， 设定为预定义基准图； 在本批次图像中随机选取一个与预定义基准图为 同一类别的摄像头图像样本， 设定为正样本图； 在本批次图像中其他类别的图像中随机选 取一个样本， 设定为负 样本图； 此三元组的损失函数计算公式为： 其中， 为预定义基准图通过卷积神经网络提取的特征向量； 为正样本图通过卷积 神经网络提取 的特征向量； 为负样本图通过卷积神经网络提取 的特征向量； 为预先设 定的三元组间隔； 所述双阶段交替训练具体为： 将余弦损 失函数训练阶段称为一阶段； 将三元组损 失函 数训练阶段称为二阶段； 训练从一阶段开始， 训练A个纪元后变换为二阶段训练B个纪元， 将 A+B个纪元记为 一个轮回， 每个轮回结束后变换为 一阶段开始新的轮回； 所述余弦损失函数训练阶段的数据采样方式为在所有人脸图像中随机无重复采样n 张， 所述三元组损失函数训练阶段的数据采样方式为在所有 人脸图像类别中随机挑选p类， 每类随机采样k张， k张中包含一张证件照片， 且p ×k = n； 所述纪元具体是指： 将所有批次 的图像依 次送入卷积神经网络中提取人脸特征， 其中， 计算余弦损失函数或三元组损失函 数并反向传播更新网络 权重的过程 为一个纪元； 步骤四： 将要进行人证比对的摄像头 图像和证件图像输入训练好的人证比对模型， 提权　利　要　求　书 1/2 页 2 CN 114663965 B 2取人脸特征， 计算人脸相似度， 输出 人证比对结果。 2.如权利要求1所述的一种基于双阶段交替学习的人证比对方法， 其特征在于， 所述步 骤一， 具体为： 收集人脸图像， 将人脸图像按个体进行分类， 并按照分类的结果对每个人脸 图像进行数据标注； 所述人脸图像包括摄像头图像和证件图像， 其中， 对于每一类人脸中的 证件图像照片添加 属于证件照的标识。 3.如权利要求1所述的一种基于双阶段交替学习的人证比对方法， 其特征在于， 所述步 骤二， 具体为： 将步骤一中 收集的所有图片 裁剪为统一像素大小， 后进 行水平翻转、 去噪、 亮 度增强和比对度增强处 理， 得到人脸图像数据集， 即训练集， 再将训练集进行分批处 理。 4.如权利要求1所述的一种基于双阶段交替学习的人证比对方法， 其特征在于， 所述步 骤四， 具体为： 将 需要进行人证比对的摄像头图像和证件图像， 即测试集， 输入到步骤三中 训练好的人证比对模型中， 经卷积神经网络中Softmax层输出人脸图像的特征向量， 将摄像 头图像和证件图像的特征向量相乘， 所得的乘积即为两者间的相似度， 若计算得到的相似 度大于预设的相似度阈值， 则判断两者属于同一人， 否则认为两者非同一人。 5.一种基于双阶段交替学习的人证比对装置， 其特征在于， 包括一个或多个处理器， 用 于实现权利要求1 ‑4中任一项所述的基于双阶段交替学习的人证比对方法。 6.一种计算机可读存储介质， 其特征在于， 其上存储有程序， 该程序被处理器执行时， 实现权利要求1 ‑4中任一项所述的基于双阶段交替学习的人证比对方法。权　利　要　求　书 2/2 页 3 CN 114663965 B 3