(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210600718.9 (22)申请日 2022.05.30 (71)申请人 浙江嘉兴数字城市实验室有限公司 地址 314001 浙江省嘉兴 市南湖区纺工路 921号一层101室 (72)发明人 宋超伟　邬林峰　谢秋妹　吴马军　 杨立功　朱赟　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 张晓英 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/74(2022.01) G06V 40/16(2022.01) (54)发明名称 基于目标检测和目标跟踪的非机动车违法 行为判定的方法 (57)摘要 本发明提供了一种基于目标检测和目标跟 踪的非机动车违 法行为判定的方法， 它解决了非 机动车违 法行为识别效果差等问题， 其包括如下 步骤： S1： 对数据集进行构建； S2： 对目标检测模 型进行训练； S3： 采集前端数据； S4： 对非机动车 违法驾驶行为进行识别； S5： 对非机动车违法行 为驾驶员身份识别。 本发明具有违 法行为识别精 度高、 交通管理效果 好等优点。 权利要求书3页 说明书7页 附图8页 CN 114898297 A 2022.08.12 CN 114898297 A 1.一种基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 包括 如下步骤： S1： 对数据集进行构建； S2： 对目标检测模型进行训练； S3： 采集前端数据； S4： 对非机动车违法驾驶行为进行识别； S5： 对非机动车违法行为驾驶员身份识别。 2.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的步骤S1包括如下步骤： S11： 利用Pytho n网络爬虫从网络获取图片； S12： 从道路监控缓存视频截取图片； S13： 对图片进行随机缩放、 裁 剪、 翻转和旋转。 S14： 将图片整合 为原始数据集。 3.根据权利要求2所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的步骤14包括如下步骤： S15： 将数据集划分为多个类别且包括红绿灯、 道路停止线、 人行道、 机动车道、 头盔目 标、 未戴头盔人脸目标、 非机动车、 机动车， 其中头盔目标和未戴头盔人脸目标为两种对立 的状态， 非机动车包 含骑行者； S16： 使用标注工具labelme将图片中出现的多类目标进行标注， 并转换成YOLOv5s算法 能够运行的数据类型文本， 每 个文本中一行为对应图片样本中的目标对象的相对位置； S16： 按照7:2:1的比例将数据类型文本划分为训练集、 验证集和测试集， 完成数据集的 构建。 4.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的步骤S2包括如下步骤： S21： 修改YOLOv5s的yaml文件中的参数nc和names； S22： 改进YOLOv5s， 在检测层中增加对小目标的识别， 主干网络backbone上用 GhostConv模块替换C3模型， 损失函数改用Varifocal Loss与GIoULoss的加权组合； S23： 修改YOLOv5s项目的训练脚本train.py参数， 包括并不限于weights、 cfg、 data和 epochs； S24： 输入端input输入交通图片， 经Mosaic数据增强后输入Backbone端， 进入Backbone 端的图片经卷积， BN归一化和Leaky_relu激活函数进行特征提取， 经SPP模块处理处理后的 图片送入Neck端进行特征进行融合并输入Predict端， 用GIOU作为bbox的损失函数， 进行目 标检测模型训练； S25： 对目标检测模型进行评估， 利用darknet自带的脚本对目标检测模型进行评估， 得 到召回率、 检测精度以及平均精度三个指标， 绘制PR曲线。 5.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的步骤S 3通过雷达触发和/或视频触发对机动车和非机动车进 行捕获， 通 过高清抓拍相机进行抓拍并将抓拍及检测的数据自动上传至智能交通管理平台， 供后续违 法行为识别模块处 理。权　利　要　求　书 1/3 页 2 CN 114898297 A 26.根据权利要求5所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的违法行为识别模块包括基于YOLOv5s的物体目标检测和基于Deep  sort 的多目标跟踪。 7.根据权利要求6所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 物体目标检测的内容包括红绿灯、 道路停止线、 人行道、 机动车道、 头盔目标、 未戴头盔人脸目标、 非机动车、 机动车。 8.根据权利要求7所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的违法行为识别模块对非机动车占用机动车道、 闯红灯、 未佩戴头盔、 载 人、 逆向行驶识别， 其中闯红灯和逆向行驶结合多目标跟踪 进行识别。 9.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法， 其特征在于， 所述的步骤S4包括如下步骤： S41： 使用训练生成的目标检测模型文件进行目标对象检测， 将输入的监控视频拆分成 帧， 对每一帧进行目标检测， 从而完成对监控视频的目标检测； S42： 完成非机动车驾驶轨迹追踪， 将第一帧检测到 的目标对象结果输入进deep  sort 算法， 建初始的轨迹ID， 并经过卡尔曼滤波处理后用马氏空间距离进 行运动匹配， 再把结果 通过最小余弦距离对外观进 行匹配， 通过级 联匹配与IOU回归计算代价矩阵， 完成非机动车 驾驶轨迹跟踪； S43： 进行非机动车占用机动车道行为检测， 确定非机动车、 机动车和机动车道在图像 中的位置， 判断机动车道位置矩形框内是否包含非机动车、 机动车位置矩形框， 如果是则继 续判断人脸目标和车牌是否清晰， 如果清晰则将非机动车占用机动车道发生时间和地点推 送到违法驾驶人员手机上， 否则查找后续3 0帧是否包 含清晰的人脸目标和车牌； S44:进行未佩戴头盔行为检测， 确定非机动车和未戴头盔人脸目标在图像中的位置， 判断非机动车位置矩形框内是否包含未戴头盔人脸目标位置矩形框， 如果是则继续判断人 脸目标和车牌是否清晰， 如果清晰则将非机动车占用机动车道发生时间和地点推送到违法 驾驶人员手机上， 否则查找后续3 0帧是否包 含清晰的人脸目标和车牌； S45:进行非机动车载人行为判断， 确定非机动车、 未戴头盔人脸目标、 戴头盔目标在图 像中的位置， 判断非机动车位置矩形框内包含的未戴头盔人脸目标和戴头盔目标总数是否 大于1， 如果是则继续判断人脸目标和车牌是否清晰， 如果清晰则将非机动车占用机动车道 发生时间和地点推送到违法驾驶人员手机上， 否则查找后续30帧是否包含清晰的人脸目标 和车牌； S46： 进行闯红灯行为检测， 取当前帧和第3帧， 确定非机动车和停止线或人行道在图片 中的位置， 计算这两帧中非机动车距离停止线或人行道的距离， 如果距离大于阈值则判断 为闯红灯行为， 判断人脸 目标和车牌是否清晰， 如果清晰则将非机动车占用机动车道发生 时间和地点推送到违法驾驶人员手机上， 否则查找后续30帧是否包含清晰的人脸目标和车 牌； S47:进行逆向行驶行为检测， 通过计算前后 5帧非机动车质心位置下x,y坐标距离图片 上边框的相对变化 量， 如果变化 量有增大趋势， 则判断为逆向行驶； S48:重复上述 步骤， 直至整个输入视频处 理结束。 10.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，权　利　要　求　书 2/3 页 3 CN 114898297 A 3