(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210574052.4 (22)申请日 2022.05.24 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 张兆翔　李颖彦　陈韫韬　何嘉伟　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 董娜 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) (54)发明名称 基于关键点匹配的3D目标检测方法及装置 (57)摘要 本发明提供一种基于关键点匹配的3D目标 检测方法及装置， 其中方法包括： 对二维图像进 行目标检测， 得到二维图像所包含目标的各关键 点的二维坐标和三维坐标； 基于各关键点的二维 坐标和三维坐标， 确定目标的各二维边和各三维 边； 对目标进行深度估计， 得到各二维边和各三 维边对应的候选深度； 基于目标的各二维边的边 特征和各三维边的边特征之间的差异， 确定各二 维边与各三维边之间的相似度； 基于各二维边和 各三维边对应的候选深度， 以及各二维边与各三 维边之间的相似度， 确定目标的目标深度； 基于 目标的目标深度， 进行3D目标检测。 在此基础上， 将得到的目标深度应用于目标检测， 能够保证目 标检测的可靠性和准确性。 权利要求书2页 说明书11页 附图4页 CN 115063789 A 2022.09.16 CN 115063789 A 1.一种基于关键点匹配的3D目标检测方法， 其特 征在于， 包括： 对二维图像进行目标检测， 得到所述二维图像所包含目标的各关键点的二维坐标和三 维坐标； 基于所述各关键点的二维坐标和三维坐标， 确定所述目标的各二维边和各三维边； 对所述目标进行深度估计， 得到所述各二维边和各三维边对应的候选深度； 基于所述目标的各二维边的边特征和各三维边的边特征之间的差异， 确定各二维边与 各三维边之间的相似度； 基于所述各二维边和各三维边对应的候选深度， 以及所述各二维边与 各三维边之间的 相似度， 确定所述目标的目标深度； 基于所述目标的目标深度， 进行3D目标检测。 2.根据权利要求1所述的基于关键点匹配的3D目标检测方法， 其特征在于， 所述基于所 述目标的各二维边的边特征和各三维边的边特征之 间的差异， 确定各二 维边与各三 维边之 间的相似度， 包括： 基于边匹配模型中的特征提取层， 分别提取所述各二维边的边特征和所述各三维边的 边特征； 基于边匹配模型的相似度计算层， 应用所述各二维边的边特征和所述各三维边的边特 征之间的差异构建边差异矩阵， 并应用所述边差异矩阵确定所述各二维边与各三 维边之间 的相似度； 所述边匹配模型是基于样本图像所包含的样本目标的各二维边和各三维边的标签匹 配关系训练得到的。 3.根据权利要求2所述的基于关键点匹配的3D目标检测方法， 其特征在于， 所述边匹配 模型基于如下步骤训练得到： 确定初始模型； 基于所述初始模型， 应用所述样本 图像所包含的样本目标的各二维边和各三维边， 确 定所述样本目标的样本边差异 矩阵； 基于所述样本边差异 矩阵确定所述样本目标的各二维边和各三维边的预估匹配关系； 基于所述预估匹配关系和所述标签匹配关系， 对所述初始模型进行参数迭代， 得到所 述边匹配模型。 4.根据权利要求1所述的基于关键点匹配的3D目标检测方法， 其特征在于， 所述对二维 图像进行目标检测， 得到所述二维 图像所包含目标 的各关键点的二维坐标和 三维坐标， 包 括： 对所述二维图像进行 特征提取， 得到图像特 征； 对所述图像特征进行关键点提取， 得到所述二维图像所包含目标的各关键点的二维坐 标和三维坐标。 5.根据权利要求4所述的基于关键点匹配的3D目标检测方法， 其特征在于， 所述对所述 二维图像进行特征提取， 得到图像特征， 之后还包括： 对所述图像特征进行二维目标检测， 得到所述二维 图像中所包含目标 的二维位置； 对所述图像特征进行三维目标检测， 得到所 述二维图像中所包 含的目标的三维尺寸和三维姿态。 6.根据权利要求5所述的基于关键点匹配的3D目标检测方法， 其特征在于， 所述对所述权　利　要　求　书 1/2 页 2 CN 115063789 A 2目标进行深度估计， 得到所述各二维边和各三维边对应的候选深度， 包括： 基于所述目标的二维位置、 三维尺寸、 三维姿态和所述目标的各二维边和各三维边， 对 所述目标进行深度估计， 得到所述各二维边和各三维边对应的候选深度。 7.一种基于关键点匹配的3D目标检测装置， 其特 征在于， 包括： 坐标确定单元， 用于对二维图像进行目标检测， 得到所述二维图像所包含目标的各关 键点的二维坐标和三维坐标； 边确定单元， 用于基于所述各关键点的二维坐标和三维坐标， 确定所述目标的各二维 边和各三维边； 候选深度确定单元， 用于对所述目标进行深度估计， 得到所述各二维边和各三维边对 应的候选深度； 相似度确定单元， 用于基于所述目标的各二维边的边特征和各三维边的边特征之间的 差异， 确定各二维边与各三维边之间的相似度； 目标深度确定单元， 用于基于所述各二维边和各三维边对应的候选深度， 以及所述各 二维边与各三维边之间的相似度， 确定所述目标的目标深度； 目标检测单 元， 用于基于所述目标的目标深度， 进行3D目标检测。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述基于关键点匹配的3D目标检测方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述基于关键点匹配的3D目标检测方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述基于关键点匹配的3D目标检测方法。权　利　要　求　书 2/2 页 3 CN 115063789 A 3