(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210642498.6 (22)申请日 2022.06.08 (71)申请人 北京拓疆者智能科技有限公司 地址 100020 北京市朝阳区麦 子店街39号 部落方舟3层 (72)发明人 刘世纪　李子实　隋少龙　张越　 史修宇　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 支宇鑫 (51)Int.Cl. G06T 7/80(2017.01) G06T 11/00(2006.01) G06V 10/74(2022.01) G06V 10/762(2022.01) (54)发明名称 用于辅助驾驶挖掘机的方法和系统、 电子设 备及存储介质 (57)摘要 本发明公开了一种用于辅助驾驶挖掘机的 方法和系统、 电子设备及存储介质。 其中， 所述方 法包括： 获取通过配置在挖掘机上的激光雷达探 测到的多维点云信息； 从所述多维点云信息中确 定出所述挖掘机的挖斗在地面的投影坐标信息； 将所述投影坐标信息转换到相机坐标系中， 得到 所述挖斗的地面投影在所述相机坐标系中的位 置信息； 其中， 所述相机坐标系为基于展示图像 的坐标系， 所述展示图像为通过配置在所述挖掘 机上的摄像头拍摄到的实时图像； 根据所述位置 信息确定所述挖斗在所述展示图像中的投影区 域。 本发明解决了工程机械在施工过程安全性较 低， 施工效率 不高的技 术问题。 权利要求书2页 说明书11页 附图6页 CN 115205395 A 2022.10.18 CN 115205395 A 1.一种用于 辅助驾驶挖掘机的方法， 其特 征在于， 包括： 获取通过配置在挖掘机上的激光雷达 探测到的多维点云信息； 从所述多维点云信息中确定出 所述挖掘机的挖斗在地 面的投影坐标信息； 将所述投影坐标信 息转换到相机坐标系中， 得到所述挖斗的地面投影在所述相机坐标 系中的位置信息； 其中， 所述相机坐标系为基于展示图像的坐标系， 所述展示图像为通过配 置在所述挖掘机上的摄 像头拍摄到的实时图像； 根据所述 位置信息确定所述挖斗在所述展示图像中的投影区域。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述多维点云信 息中确定出所述挖 掘机的挖斗在地 面的投影坐标信息， 包括： 从所述多维点云信息中确定出 所述挖掘机的挖斗的多维点云信息； 将所述挖斗的多维点云信 息中在竖直方向上的最低 地点的点云集合， 作为所述挖掘机 的挖斗在地 面的投影坐标信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述多维点云信 息中确定出所述挖 掘机的挖斗的多维点云信息， 包括： 从所述多维点云信 息中确定出包含所述挖掘机的挖斗， 以及与挖斗相连的挖机臂的混 合多维点云信息； 根据所述挖斗和挖机臂的宽度之间的关系， 从所述混合多维点云信 息中分离出所述挖 斗的多维点云信息 。 4.根据权利要求2所述的方法， 其特征在于， 在包含沙尘的施工场景中， 所述多维点云 信息还包括点云的反射强度信息， 所述方法还 包括： 将多维点云中反射强度小于预设阈值的点确定为沙尘点； 剔除所述多维点云中的沙尘点， 得到第一 参考点云信息； 所述从所述多维点云信息中确定出 所述挖掘机的挖斗的多维点云信息， 包括： 从所述第一 参考点云信息中确定出 所述挖掘机的挖斗的多维点云信息 。 5.根据权利要求2所述的方法， 其特征在于， 所述方法还包括： 将所述多维点云经过体 素滤波器进行 下采样操作， 得到第二 参考点云信息； 所述从所述多维点云信息中确定出 所述挖掘机的挖斗的多维点云信息， 包括： 从所述第二 参考点云信息中确定出 所述挖掘机的挖斗的多维点云信息 。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 将将所述第二 参考点云信息经 过预设的地 面过滤方法处理， 得到第三 参考点云信息； 将所述第三 参考点云信息中的每 个点基于欧式距离进行聚类， 得到多个点云簇； 将所述多个点云簇中距离在预设阈值内的点云簇确定为目标点云簇； 所述从所述多维点云信息中确定出 所述挖掘机的挖斗的多维点云信息， 包括： 根据所述挖斗和挖机臂的宽度之间的关系， 从所述目标点云簇中分离出所述挖斗的多 维点云信息 。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 利用RANSAC算法， 将所述第三参考点云信息中的车辆进行过滤， 得到第四参考点云信 息； 所述将所述第三参考点云信息中的每个点基于欧式距离进行聚类， 得到多个点云簇，权　利　要　求　书 1/2 页 2 CN 115205395 A 2包括： 将所述第四参 考点云信息中的每 个点基于欧式距离进行聚类， 得到多个点云簇 。 8.根据权利要求1所述的方法， 其特征在于， 所述根据所述位置信 息确定所述挖斗在所 述展示图像中的投影区域， 包括： 根据所述 位置信息确定所述挖斗在所述展示图像中的像素区域； 在所述展示图像上标记出所述像素区域， 以生成所述挖斗在所述展示图像中地面上的 投影。 9.一种用于 辅助驾驶挖掘机的装置， 其特 征在于， 包括： 获取单元， 用于获取通过配置在挖掘机上的激光雷达 探测到的多维点云信息； 第一确定单元， 用于从所述多维点云信 息中确定出所述挖掘机的挖斗在地面的投影坐 标信息； 转换单元， 用于将所述投影坐标信息转换到相机坐标系中， 得到所述挖斗的地面投影 在所述相机坐标系中的位置信息； 其中， 所述相机坐标系为基于展示图像的坐标系， 所述展 示图像为 通过配置在所述挖掘机上的摄 像头拍摄到的实时图像； 第二确定单 元， 用于根据所述 位置信息确定所述挖斗在所述展示图像中的投影区域。 10.一种用于辅助驾驶挖掘机的系统， 其特征在于， 包括配置在挖掘机上的激光雷达和 摄像头， 以及 如权利要求9所述的用于 辅助驾驶挖掘机的装置 。 11.一种计算机可读的存储介质， 其特征在于， 所述计算机可读的存储介质包括存储的 程序， 其中， 所述 程序运行时执 行所述权利要求1至8任一项中所述的方法。权　利　要　求　书 2/2 页 3 CN 115205395 A 3