(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210856149.4 (22)申请日 2022.07.12 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 孙超　魏志杰　冷江昊　黄文艺　 王博　刘前飞　李洋　孙逢春　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 专利代理师 李鹏 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/26(2022.01) G06T 7/80(2017.01) G06T 7/66(2017.01)G01S 7/497(2006.01) G06T 7/70(2017.01) (54)发明名称 一种基于实例分割的相机和激光雷达自动 标定方法 (57)摘要 本发明公开了一种基于实例分割的相机和 激光雷达自动标定方法， 该方法不需要特定的场 景， 只需要车辆在路面上行驶时采集到的传感器 数据即可完成自动化的标定， 目的在于简化无人 驾驶车辆中相机和激光雷达外参标定工作， 以及 当二者的相对位置关系发生抖动或偏移时， 能够 进行在线的校正， 从而提升无人驾驶融合感知系 统的可靠性。 权利要求书2页 说明书8页 附图1页 CN 115239978 A 2022.10.25 CN 115239978 A 1.一种基于实例分割的相机和激光雷达自动标定方法， 其特 征在于， 所述方法包括： 对图像和点云进行 预处理， 得到多个重要实例； 计算每个重要实例的质心坐标， 以质心之间的距离为代价， 利用匹配算法处理得到重 要实例在图像和点云中的对应关系； 构造匹配值地图， 利用点云重要实例的匹配值， 结合所述对应关系中对应好的质心之 间的距离， 构造一 致性代价函数； 对一致性代价函数进行优化， 得到相机和激光雷达的外参， 即实现了相机和激光雷达 自动标定 。 2.根据权利要求1所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述对图像和点云信息进行 预处理具体包括： 对采集到的图像和点云信 息， 利用预设的神经网络模型， 进行实例分割操作， 得到第一 实例分割结果， 并对第一 实例分割结果进 行一次筛选处理， 得到第二 实例分割结果， 对第二 实例分割结果进行二次筛 选处理， 得到多个重要实例， 即图像重要实例和点云重要实例。 3.根据权利要求2所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 采用装在无人驾驶车辆上 的相机和激光雷达分别采集到图像和点云信息， 基于预设 的Panoptic ‑DeepLab模 型和DS‑Net模型分别对采集到的图像和点云信息进行实例分割， 得 到第一实例分割结果； 对所述第一实例分割结果进行筛选处理， 筛选出车辆实例， 所述车辆实例即第二实例 分割结果； 根据所述第二实例分割结果中像素数目多少， 保留像素数目最多的k个图像车辆实例 和k个点云车辆实例， 其中， k根据第二实例分割结果中车辆的多少自适应调整， 所述k个图 像车辆实例为图像重要实例， k个点云车辆实例为 点云重要实例。 4.根据权利要求2所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述计算每 个重要实例的质心坐标， 具体包括： 根据点云在激光雷达的坐标系中的坐标， 计算 点云投影到相机坐标系上的坐标； 根据点云投影到相机坐标系上的坐标， 计算得到点云投影到图像像素坐标系中的坐 标； 根据点云投影到图像像素坐标系中的坐标， 求取每个重要实例在图像像素坐标系中的 坐标的平均值， 得到点云投影到图像 像素上的每个重要实例的质心坐标； 根据图像的第二实例分割结果， 得到 图像中的重要实例， 求取图像中每个重要实例的 质心坐标。 5.根据权利要求4所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 采用匈 牙利匹配算法处 理得到重要实例在图像和点云中的对应关系， 具体包括： 计算点云投影到图像像素上的每个重要实例的质心坐标和图像中每个重要实例的质 心坐标的质心 距离值； 以所有质心距离值为代价值， 构造匈牙利匹配算法的代价矩阵， 利用匈牙利匹配算法 进行最优匹配， 得到 重要实例在图像和点云中的对应关系。 6.根据权利要求4所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述构造匹配值 地图具体包括：权　利　要　求　书 1/2 页 2 CN 115239978 A 2对上述第二实例分割结果中的图像进行二值化处理， 将所述图像中的重要实例的像素 值设置为1， 其 他像素设置为0， 得到图像中每 个像素点的匹配值构成的初始匹配值 地图； 对所述图像中的每 个重要实例利用距离变换算法进行处 理， 得到最终匹配值 地图。 7.根据权利要求6所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述构造一 致性代价函数具体包括： 将所述点云重要实例投影到 图像像素坐标系后， 根据最终匹配值地图， 得到每个像素 点的匹配值， 再 结合重要实例在图像和点云中的对应关系共同构造一 致性代价函数。 8.根据权利要求7所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述对一 致性代价函数进行优化， 具体包括： 利用罗德里格斯变换， 将初始标定外参的旋转矩阵转化为欧拉角的形式， 即6维向量； 以该6维向量作为待优化的参数， 采用差 分进化算法优化所述一致性代价函数， 得到相机和 激光雷达的外参， 即实现了相机和激光雷达自动标定 。 9.根据权利要求1所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述相机和激光雷达的外参包括： 最优旋转向量和平 移向量。 10.根据权利要求8所述的一种基于实例分割的相机和激光雷达自动标定方法， 其特征 在于， 所述初始标定 外参具体为： 预设的初始的粗略外参 值。权　利　要　求　书 2/2 页 3 CN 115239978 A 3