(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210814459.X (22)申请日 2022.07.11 (71)申请人 杭州笃远智能科技有限公司 地址 311100 浙江省杭州市余杭区仓前街 道向往街10 08号17幢6 04-1室 (72)发明人 楼斌　 (74)专利代理 机构 杭州山泰专利代理事务所 (普通合伙) 33438 专利代理师 周春凤 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G01S 19/42(2010.01) (54)发明名称 一种用于共享电动车骑行与停放的位姿检 测方法 (57)摘要 本发明公开了一种用于共享电动车骑行与 停放的位姿检测方法， 包括以下步骤： 步骤1： 设 计逆行标识和停车标识， 将逆行标识铺设在非机 动车道路面， 将停车标识铺设在非机动车停车道 路路面； 步骤2： 根据标识 检测距离与视场角的需 求选择图像传感器和镜头， 在共享电动车不随车 把摆动的部位安装相机， 相机安装时， 翻滚角、 巡 航角与车身一致， 俯仰角垂直向下， 对相机进行 标定， 建立相机内参数模 型， 获得镜头畸变参数； 通过本发明的实施， 同时实现了电单车序化停车 与逆行检测两种规范功能， 整体成本相对较低， 提高了用户还车体验， 安全性也较高， 独立性强， 环境友好， 整体方案的技术原理科学合理， 起到 了突出性地进步， 具有一定的使用价值和推广价 值。 权利要求书2页 说明书6页 附图2页 CN 115239810 A 2022.10.25 CN 115239810 A 1.一种用于共享电动车骑行与停放的位姿检测方法， 其特 征在于， 包括： 步骤1： 设计逆行标识和停车标识， 将逆行标识铺设在非机动车道路面， 将停车标识铺 设在非机动车停车道路 路面； 步骤2： 根据 标识检测距离与视场角的需求选择图像传感器和镜头， 在共享电动车不随 车把摆动的部位安装相机， 相机安装时， 翻滚角、 巡航角与车身一致， 俯仰角垂 直向下， 对相 机进行标定， 建立相机内参数模型， 获得镜头畸变参数， 选择具有神经网络算力的嵌入式处 理器作为相机中央处 理单元； 步骤3： 使用共享电动车车载相机拍摄大量原始标识图像作为样本， 拍摄逆行标识各个 角度的图像作为样本， 设定一个角度范围的样本作为判定逆行的正样本， 其余角度的标识 样本作为负 样本， 在样本图像中， 标注出 标识类别及其 坐标位置； 步骤4： 选用面向目标检测的神经网络模型及算法， 用标注好的样本图像库， 对选定的 神经网络进行训练， 得到网络模型参数； 步骤5： 用户骑行过程中， 若车辆GPS位置进入到逆行检测区间路段， 则相机开始拍照， 并调用步骤4中预先训练好的网络模型， 使用一阶段目标检测算法进 行逆行标识检测， 将整 幅图像作为输入， 通过神经网络直接回归得到目标的位置坐标和分类概 率； 步骤6： 基于步骤5的目标检测结果， 根据目标数量和置信度进行滤波， 最终判定是否逆 行， 以降低虚警概 率； 步骤7： 步骤6检测到逆行后， 车辆通过语音报警提醒用户遵守交通规范， 并将当前事件 的信息上传至云平台， 云平台结合用户信息做 记录存档； 步骤8： 骑行用户通过手机等移动终端发起还车请求时， 车辆将自身GPS定位发到车联 网服务器， 车联网服务器判断当前车辆位置是否在还车站点附近， 若不在还车站点坐标范 围内， 则不允许还车； 如 在站点范围内， 则向相机发送还车拍照检测指令； 步骤9： 车载相机收到拍照检测指令后， 拍摄图像并对图像进行预处理， 相机调用步骤4 中预先训练好的神经网络模型， 进 行停车标识检测； 将图像输入到网络模型， 网络模型输出 若干目标， 其描述为(Cl,Cf,(x,y,w,h)),Cl与Cf分别代表目标的类别 与置信度， (x,y,w,h) 代表目标预测框左上角坐标、 宽度和高度； 再通过非极大值抑制过 滤部分重 叠预测框； 步骤10： 若在图像中检测到停车标识， 则选择置信度最高的3个目标框， 求得其中心坐 标位置， 再选择中心 坐标位置y值最大的目标作为最佳目标； 若在 采集图像中未检测到停车 标识， 或者最佳位置位于规定范围之外， 则表明车辆未停在标识线规定距离内， 不允许还 车； 如最佳目标位于规定范围之内， 则截取包含图标的局部图像， 简称标识图像块； 作为角 度检测的次优方法， 若检测到多个目标， 计算其中两个目标中心形成的直线在图像中与x轴 的夹角即是 车辆的巡航角； 步骤11： 对标识图像块进行特征点检测， 选择检测速度快的ORB特征， 得到的特征点进 行排序， 将排序后的特 征点与参 考图像中的特 征点进行匹配， 获得 特征点对应关系； 步骤12： 利用匹配特征点的坐标变换关系， 得到空间转换的单应矩阵， 并从单应矩阵中 分离出代 表车辆与标识相对角度关系的旋转矩阵； 步骤13： 根据旋转矩阵中的偏航角判断共享电动车的还车角度， 若偏航角超出预先设 定范围， 则不允许还车； 偏航角符合要求， 则还车成功。 2.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 115239810 A 2所述步骤1中， 逆行 标识和停车 标识为非旋转对称的几何图形。 3.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 所述步骤2中， 相机安装于共享电动车 车身或车篮上。 4.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 通过基于深度学习的目标检测算法， 根据相 机拍摄图像中是否有特定标识， 判断共享电动 车是否在相应标识附近； 进一步地， 根据标识在图像中的坐标位置， 判断共享电动车与标识 的相对距离； 根据标识在图像中的方向， 判断共享电动车的车身方向。 5.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 所述步骤5中， 需在共享电动车骑行过程中检测到逆行标识， 相对应地， 采用的深度神经网 络和目标检测算法， 在嵌入式处理器上运行时， 采集和检测一张图像的时间应小于100毫 秒， 优先选择一阶段目标检测算法， 例如Y OLO、 SSD等， 并选择带有神经网络处理单元的嵌入 式处理器。 6.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 所述步骤6中， 目标检测结果判定逆行的方法包括有： 6.1： 在一帧图像中检测到多个逆行 标识目标， 则判定为逆行； 6.2： 检测所得目标中， 置信度最高的是逆行标识， 且其置信度高于设定阈值， 则判定为 逆行。 7.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 所述步骤7中， 当前事 件的信息包括有时间、 GP S坐标、 车辆编号以及现场照片。 8.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 所述步骤9中， 预处理步骤包括有根据步骤2获得的相机内参数进行镜头畸变校正、 对比度 增强以及去噪滤波。 9.根据权利要求1所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在于， 所述步骤11、 12中还包括基于关键特征点计算图形旋转角度的方法， 提取标识图像块的关 键特征点， 例如ORB特征， 与参考标识图像的特征点进 行匹配， 形成匹配点对， 当相机俯仰角 为0， 即相 机直视地面时， 两个特征点形成一条特征直线， 标识图像块中的特征直线与参考 图像中的特 征直线的夹角即为车辆的偏航角。 10.根据权利要求9所述一种用于共享电动车骑行与停放的位姿检测方法， 其特征在 于， 当相机俯仰角不为0时， 需提取4个以上特征点， 所述标识图像的特征点 都位于同一平 面 上， 使用单应矩阵H描述被测图像与参 考图像中特 征点的坐标变换关系： 单应矩阵是一个3x3的矩阵， 代 表了两个图像平面像素之间的平 移、 旋转关系； 其中(rx1,ry1)， (px1,py1)分别代表匹配特征点对(R1,P1)在对应图像中的坐标； 通过归 一化h9,单应矩阵通过h1～h8共8个参数确 定， 由4组以上匹配特征点对， 得到8个方程形成 方程组， 求 解出单应性矩阵； 由单应性矩阵通过奇异值分解得到旋转矩阵和位移矩阵， 旋转矩阵中的偏航角， 代表 了车身方向与规范停车 方向的偏离 。权　利　要　求　书 2/2 页 3 CN 115239810 A 3