(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864276.9 (22)申请日 2022.07.20 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 许鲁珉　金晟　曾望　刘文韬　 钱晨　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06N 3/04(2006.01) (54)发明名称 关键点检测方法、 神经网络、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种关键点检测方法、 神经网 络、 装置、 电子设备及存储介质， 该方法包括： 获 取包括任一类别的待检测对象的待检测图像、 和 至少一个参考图像； 其中， 所述参考图像与所述 待检测图像包括相同类别的对象， 且 所述参考图 像携带有参考对象的多个参考关键点的位置信 息； 对所述待检测图像进行第一特征提取， 生成 第一特征图； 以及基于所述参考图像和各个所述 参考关键点的位置信息， 生 成与每个所述参考关 键点匹配的参考特征数据； 基于所述第一特征图 以及各个所述参考特征数据， 确定目标关键点信 息。 权利要求书3页 说明书16页 附图4页 CN 115063598 A 2022.09.16 CN 115063598 A 1.一种关键点检测方法， 其特 征在于， 包括： 获取包括任一类别的待检测对象的待检测图像、 和至少一个参考图像； 其中， 所述参考 图像与所述待检测图像包括相同类别的对象， 且所述参考图像携带有参考对象的多个参考 关键点的位置信息； 对所述待检测图像进行第一特 征提取， 生成第一特 征图； 以及 基于所述参考图像和各个所述参考关键点的位置信 息， 生成与每个所述参考关键点匹 配的参考特征数据； 基于所述第一特 征图以及各个所述 参考特征数据， 确定目标关键点信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述参考图像和各个所述参考关 键点的位置信息， 生成与每 个所述参考关键点匹配的参 考特征数据， 包括： 对所述参考图像进行第二特 征提取， 生成第二特 征图； 对所述第二特 征图进行 上采样处 理， 得到处 理后特征图； 利用所述多个参考关键点分别对应的参考热力图， 对所述处理后特征图进行加权处 理， 生成多个中间特征图； 其中， 每个所述参考热力图用于表征一个所述参考关键点的位置 信息； 基于所述多个中间特 征图， 生成与每 个所述参考关键点匹配的参 考特征数据。 3.根据权利要求1或2所述的方法， 其特征在于， 在所述基于所述参考图像和各个所述 参考关键点的位置信息， 生成与每 个所述参考关键点匹配的参 考特征数据之后， 还 包括： 基于所述第一特征图， 对多个所述参考特征数据进行特征增强处理， 生成多个处理后 参考特征数据； 所述基于所述第一特 征图以及各个所述 参考特征数据， 确定目标关键点信息， 包括： 基于所述第一特 征图以及各个所述处 理后参考特征数据， 确定目标关键点信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第一特征图， 对多个所述参 考特征数据进行 特征增强处 理， 生成多个处 理后参考特征数据， 包括： 对多个所述 参考特征数据进行交 互处理， 得到多个交 互后的参 考特征数据； 利用所述第一特征图， 分别对所述多个交互后的参考特征数据进行特征增强处理， 生 成多个处 理后参考特征数据。 5.根据权利要求1 ‑4任一所述的方法， 其特征在于， 所述基于所述第 一特征图以及各个 所述参考特征数据， 确定目标关键点信息， 包括： 基于所述第 一特征图和各个所述参考特征数据， 生成多个目标热力图； 其中， 所述多个 目标热力图的数量与所述 参考关键点的数量相同； 基于所述多个目标 热力图， 确定目标关键点信息 。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述第 一特征图以及各个所述参 考特征数据， 生成多个目标 热力图， 包括： 对每个所述参考特征数据进行扩展处理， 得到各个扩展后参考特征数据； 其中， 所述扩 展后参考特征数据的尺寸与所述第一特 征图的尺寸相同； 将所述各个扩展后 参考特征数据分别与 所述第一特征图进行级联， 得到多个级联后特 征图； 对所述多个级联后特 征图进行第三特 征提取， 生成多个目标 热力图。权　利　要　求　书 1/3 页 2 CN 115063598 A 27.根据权利要求1 ‑6任一所述的方法， 其特征在于， 所述目标关键点信息由训练得到的 目标神经网络生成； 根据下述 步骤训练得到所述目标神经网络： 获取样本数据集； 其中， 所述样本数据集包括多种类别的样本对象分别对应的样本 图 像对； 所述样本图像对中第一样本图像和第二样本图像包括的样本对象的类别相同； 基于所述第 一样本图像、 所述第 二样本图像、 和待训练神经网络， 生成所述第 一样本图 像中样本对象对应的多个预测热力图； 基于所述多个预测热力图、 和所述第一样本 图像对应的基准热力图， 生成所述待训练 神经网络对应的损失值； 基于所述损 失值， 对所述待训练神经网络的网络参数进行调整， 直至满足训练截止条 件， 得到目标神经网络 。 8.一种用于关键点检测的神经网络， 其特征在于， 包括： 第一特征提取子网络、 第二特 征提取子网络、 和匹配子网络； 所述匹配子网络分别与所述第一特征提取子网络和所述第 二特征提取子网络相连； 所述第一特征提取子网络， 用于对接收到的待检测图像进行第一特征提取， 生成第一 特征图； 所述第二特征提取子网络， 用于基于接收到的参考图像和所述参考图像中各个参考关 键点的位置信息， 生成与每 个所述参考关键点匹配的参 考特征数据； 所述匹配子网络， 用于基于所述第一特征图以及各个所述参考特征数据， 确定目标关 键点信息 。 9.根据权利要求8所述的神经网络， 其特征在于， 所述神经网络还包括： 关键点交互子 网络； 所述关键点交互子网络包括： 自注意力单元、 交叉注意力单元； 其中， 所述自注意力单 元与所述第二特征提取子网络相连； 所述交叉注意力单元分别与所述自注意力单元、 所述 匹配子网络、 和所述第一特 征提取子网络相连； 所述自注意力单元， 用于对接收到的多个所述参考特征数据进行交互处理， 得到多个 交互后的参考特征数据； 并将所述多个交互后的参考特征数据输入至所述交叉注意力单 元； 所述交叉注意力单元， 用于利用所述第一特征图， 分别对所述多个交互后的参考特征 数据进行特征增强处理， 生成多个处理后参考特征数据； 并将所述多个处理后参考特征数 据输入至所述匹配子网络； 所述匹配子网络， 在基于所述第一特征图以及各个所述参考特征数据， 确定目标关键 点信息时， 用于基于所述第一特征图以及各个所述处理后参考特征数据， 确定目标关键点 信息。 10.一种关键点检测装置， 其特 征在于， 包括： 获取模块， 用于获取包括任一类别的待检测对象的待检测图像、 和至少一个参考图像； 其中， 所述参考图像与所述待检测图像包括相同类别的对 象， 且所述参考图像携带有参考 对象的多个参 考关键点的位置信息； 第一生成模块， 用于对所述待检测图像进行第一特 征提取， 生成第一特 征图； 第二生成模块， 用于基于所述参考图像和各个所述参考关键点的位置信息， 生成与每 个所述参考关键点匹配的参 考特征数据；权　利　要　求　书 2/3 页 3 CN 115063598 A 3