(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210820042.4 (22)申请日 2022.07.13 (65)同一申请的已公布的文献号 申请公布号 CN 114898086 A (43)申请公布日 2022.08.12 (73)专利权人 山东圣点世纪科技有限公司 地址 266100 山东省青岛市崂山区松岭路 169号青岛国际创新园二期D2栋千山 大厦1602室 (72)发明人 朱晓芳　李学双　赵国栋　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 徐超 (51)Int.Cl. G06V 10/22(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114529819 A,202 2.05.24 CN 114492745 A,202 2.05.13 CN 112990298 A,2021.0 6.18 CN 112766087 A,2021.0 5.07 WO 2021023202 A1,2021.02.1 1 WO 2022083157 A1,202 2.04.28 审查员 宋朝 (54)发明名称 一种基于级联温控蒸馏的目标关键点检测 方法 (57)摘要 本发明公开了一种基于级联温控蒸馏的目 标关键点检测方法， 图像处理技术领域， 其包括 以下步骤： 1） 采集多张训练集图像， 给所有训练 集图像标注关键点信息； 2） 构建教师网络模型和 学生网络模型； 3） 将训练集图像输入教师网络模 型， 将标注关键点信息的训练集图像输入学生网 络模型， 联合教师网络模型， 采用级联温控蒸馏 技术训练用于目标关键点检测的学生网络模型； 4） 基于训练好的学生网络模型对待检测图像进 行目标关键点检测。 本发明利用了高维空间特征 向量和低维空间特征向量的两种蒸馏损失， 通过 温度T的变化， 互相约束和促进， 引导学生模型训 练寻找最优解集， 其中高维特征蒸馏能降低学生 模型的过拟合， 并增强鲁棒 性。 权利要求书2页 说明书6页 附图3页 CN 114898086 B 2022.09.20 CN 114898086 B 1.一种基于级联温控蒸馏的目标关键点检测方法， 其特 征在于： 其包括以下步骤： S1.采集多张训练集图像， 给 所有训练集图像标注关键点信息； S2.构建教师网络模型和学生网络模型： 构建教师网络模型包括以下步骤： 基于原始的mobilefacenet网络， 在GDC层后设置3层 全连接层， 其中全连接层1的输出维度为256， 全连接层2的输出维度设置为64， 全连接层3的 输出维度为14， 选择s mooth L1 loss作为损失函数； 构建学生网络模型包括以下步骤： 基于原始的Onet网络， 在GDC层后设置3层全连接层， 其中全连接层1的输出维度为256， 全 连接层2的输出维度为64， 全连接层3的输出维度为14， 选择smooth L1 loss作为回归损失函数； S3.将训练集图像输入教师网络模型， 将标注关键点信息的训练集图像输入学生网络 模型， 联合教师网络模型， 采用级联温控蒸馏技术训练用于目标关键点检测的学生网络模 型， 其具体步骤为： S3.1.计算教师网络模型全连接层1和学生网络模型全连接层1的余弦蒸馏损失； S3.2.计算教师网络模型全连接层2和学生网络模型全连接层2之间的KL蒸馏损失； S3.3.基于学生网络模型的回归损失、 余弦蒸馏损失和KL蒸馏损失计算学生网络模型 的总损失函数； S3.4.以学生网络模型的总损失函数为基础， 引导学生网络模型进行训练； S4.基于训练好的学生网络模型对待检测图像进行目标关键点检测。 2.根据权利要求1所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 步骤S3.1中教师网络模型全连接层1和学生网络模型全连接层1的余弦蒸馏损失的计算公 式为： 公式中， 表示学生网络模型全连接层1和教师网络模型全连接层1之间的余弦蒸 馏损失， 分别表示学生网络模型和教师网络模型的输出 向量，  表示学生网络 模型和教师网络模型输出的向量点成， 表示学生网络模型和教师网络模型的向 量的模的乘积。 3.根据权利要求2所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 步骤S3.2 中教师网络模型全连接层2和学生网络模型全连接层2之间的KL蒸馏损失的计算 公式为： 公式中， 表示学生网络模型全连接层2和教师网络模型全连接层2之间的KL蒸馏 损失， 表示教师网络模型全连接层2和学生网络模型全连接层2 的KL散度， 表权　利　要　求　书 1/2 页 2 CN 114898086 B 2示归一化指数函数， 表示教师网络模型的第 i维特征向量值， 表示学生网络模型的第 i 维特征向量值，  j表示训练时的迭代次数， 表示第j次迭代的蒸馏温度， n表示输出向量的 维度，i表示向量索引。 4.根据权利要求3所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 教师网络模型全连接层2和学生网络模型全连接层2的KL散度的计算公式为： 公式中， 表示KL散度， 表示教师网络模型的向量， 表示学生网络模型的向量， 和 分别表示教师网络模型和学生网络模型输出的第 i维特征向量值， 表示教 师网络模型输出向量的正则化项， 表示学生网络模型输出向量的正则化项。 5.根据权利要求4所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 的教师网络模型输出向量的正则化项 和学生网络模型输出向量的正则化项 均为 。 6.根据权利要求3所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 的第j次迭代的蒸馏温度 的表达式为： 公式中， 第j‑1次训练迭代时的蒸馏温度； 、 分别表示第 j次迭代时的 余弦蒸馏损失和KL蒸馏损失。 7.根据权利要求3所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 的学生网络模型的总损失函数的计算公式为： 公式中， 表示学生网络模型总损失； a表示回归损失的比例， b表示KL蒸馏损失的比 例，c表示余弦蒸馏损的比例； 表示回归损失。 8.根据权利要求7所述的基于级联温控蒸馏的目标关键点检测方法， 其特征在于： 所述 的回归损失的比例为0.5，  KL蒸馏损失和余弦蒸馏损失的比例为0.25 。权　利　要　求　书 2/2 页 3 CN 114898086 B 3