(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840375.3 (22)申请日 2022.07.18 (71)申请人 闽江学院 地址 350121 福建省福州市闽侯县溪 源宫 路200号闽江学院行政楼B201 (72)发明人 李佐勇　陈健　许腾　叶伟华　 郑祥盘　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/776(2022.01) (54)发明名称 一种基于改进SSD 模型的自动扶梯乘 客姿态 异常检测方法 (57)摘要 本发明涉及一种基于改进SSD模 型的自动扶 梯乘客姿态异常检测方法。 该方法将改进的单镜 头检测器 （SSD） 算法， 用于自动扶梯乘客姿势异 常检测。 首先， SSD网络的VGG16网络部分被 Mobilenetv2网络 取代， 这使得模型结构更简单， 检测速度更快。 同时， 引入了并集上的距离交集 （DIoU） 损失函数。 根据IoU的特点， 考虑到GIoU的 缺点， DIoU直接回归两个盒子中心点之间的欧氏 距离， 以加速收敛。 实验结果表明， 改进的SSD扶 梯乘客姿势异常检测算法能够准确、 实时地识别 扶梯乘客的危险姿势， 以便制定相应的安全防护 措施， 提高自动扶梯运行的安全性能。 权利要求书2页 说明书7页 附图2页 CN 115273146 A 2022.11.01 CN 115273146 A 1.一种基于改进SSD模型的自动扶梯乘客姿态异常检测方法， 其特征在于， 该方法将改 进的单镜头检测器SSD算法， 用于自动扶梯乘 客姿势异常检测； 将SSD网络的VGG16网络采用 Mobilenetv2网络取代； 同时， 引入并集上的距离交集DI oU损失函数。 2.根据权利要求1所述的一种基于改进SSD模型的自动扶梯乘客姿态异常检测方法， 其 特征在于， 所述SSD网络由前端和后端组成， 前端为VGG16网络， 后端为不同大小的功能层网 络， 将前端的VGG16网络采用Mobilenetv2网络替代， 在Mobilenetv2网络中引入深度可分离 卷积和反向残差块， 并用线性激活函数替换反向残差块网络结构中的最后一个ReLU6 。 3.根据权利要求1所述的一种基于改进SSD模型的自动扶梯乘客姿态异常检测方法， 其 特征在于， SSD算法采用六种不同的特征层来检测不同尺度的目标， 即Conv4_3、 Conv7、 Conv8_2、 Conv9_2、 Conv10_2、 Conv11_2， 对应的大小为38 ×38×512、 19×19×1024、 10×10 ×512、 5×5×256、 3×3×256、 1×1×256； SSD算法使用特征金字塔结构进行检测， 其中， 浅 特征层检测小目标， 深特征层检测大目标； 最后， 将多尺度特征层的组合作为分类和回归的 基础， 进行回归计算和非最大值抑制， 并输出最终结果。 4.根据权利要求1所述的一种基于改进SSD模型的自动扶梯乘客姿态异常检测方法， 其 特征在于， SSD算法的目标损失函数是定位损失loc和置信度损失conf的加 权和； 当训练模 型时， 一个用于测试正向预测边界框偏移的损失， 另一个用于预测边界框类别的损失； SSD 算法的损失函数表示如下： 其中c代表类别置信度的预测值， l代表先验框对应边界框的位置预测值， g代表地面真 值框的位置参数， N代 表匹配默认框的数量， α 是权 重参数， x为指示器参数； 定位损失的计算公式为： 其中 用作指示器， 指示第i个先验边界框和第j个地面真值框是否在k类上匹配； 由于 的存在， 仅对正样本计算位置误差； 其中， 地面真值框 的g应编码为偏移 为预测框 编码值， 其公式如下： cx和cy表示预测边界框的坐标， w和h表示预测边界框的大小； 分别 表示地面真实框与边界框中心偏移量(cx ,cy) 和其宽度w、 高度h的偏移量 ， 表示地面真实框编码值， 表示大小比例因子； 位置丢失采用先验 边界框L参数与地面真值框g参数之间的smoothL1丢失； smoothL1损失权　利　要　求　书 1/2 页 2 CN 115273146 A 2函数的公式如下： 置信度损失的计算公式为： 表示预测框i与真实框j关于类别p匹配， p的概率越高， 损失越小； 表示预 测框没有物体， 预测为背景的概率越高， 损失越小； 表示类别p的第i个边界框的置信度， 其计算公式如下： exp(x)函数的返回值 为e的x次方， e 是自然对数的底； 由于smoothL1损失函数没有考虑坐标之间的相关性， 因此采用DIoU损失函数替换 smoothL1损失函数， DI oU损失函数公式如下： 其中 B是预测框， Bgt是地面真值框； b和bgt分别表示B和Bgt的中心点， ρ 是欧 几里得距离， C是覆盖 两个边界框的最小包围盒的对角线长度。 5.根据权利要求1至4任一所述的一种基于改进SSD模型的自动扶梯乘客姿态异常检测 方法， 其特 征在于， 该 方法应用于 扶梯乘客姿势 异常检测系统， 具体实现如下： 首先， 将待检测的视频输入检测系统， 从不同的扶梯监控视频序列中提取视频帧， 形成 一个数据集， 并对数据集进行手动标记， 记录位置和大小信息； 其次， 将标记后的数据集输入优化后的SSD网络进行训练， 直到网络收敛， 得到能够检 测目标的S SD网络； 第三， 将从不同特征地图中获得的边界框进行组合， 通过非最大值抑制NMS方法抑制重 叠或错误的边界框， 并生成最终的边界框集即检测结果； 最后， 输出检测到的扶梯上的乘客姿势， 判断乘客是否处于危险状态， 使扶梯及时采取 相应的安全防护措施。权　利　要　求　书 2/2 页 3 CN 115273146 A 3