(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210552572.5 (22)申请日 2022.05.19 (71)申请人 安徽合为智能科技有限公司 地址 230000 安徽省合肥市高新区望江西 路5089号中国科学技术大学先进技术 研究院一 号嵌入式研发楼31 1、 313室 (72)发明人 谷强　鲁富贤　朱正峰　甘俊齐　 (74)专利代理 机构 合肥方舟知识产权代理事务 所(普通合伙) 34158 专利代理师 朱荣 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种用于烟火及人员行为视频分析的前端 设备 (57)摘要 本发明公开了一种用于烟火及人员行为视 频分析的前端设备。 本发 明中， 甄选了高效、 可靠 的人工智能算 法， 包括基于mu l‑scales策略卷积 神经网络的烟火识别， 以及基于YOL Ov3算法的人 员行为检测， 通过两种算法融合于前端实现不同 场景针对不同内容的检测。 烟火识别通过预处理 的火灾图像数据集对卷积神经网络训练提取火 灾特征， 并结合Darknet网络模型进行火灾检测， 在基于yolov3的多GP U支持下对火灾图像特征的 提取训练时间大大缩短。 人员行为分析方法对于 连续的多个单帧图像的行为进行检测， 再利用逻 辑判断， 分析出视频中的行为事件。 使用多帧图 像综合分析行为事件， 避免了单帧图像漏检、 错 检而造成的事件错误判断， 提高了行为事件判断 的鲁棒性与适应 。 权利要求书4页 说明书9页 附图4页 CN 114998783 A 2022.09.02 CN 114998783 A 1.一种用于烟火及人员行为视频分析的前端设备， 其特征在于： 所述前端设备的内部 设置有用于烟火及人员行为视频分析系统， 该系统在运行时包括： S1:先进行卷积神经网络对火灾(烟雾、 火焰)图像识别的主要过程是使用现有火灾图 像对网络进 行训练， 提取火灾图像特征， 由于类似于人类的记忆学习过程近似， 故被称为网 络的学习过程； 本发明通过预处理的火灾图像数据集对卷积神经网络训练提取火灾特征， 并结合Dark net网络模型进行火灾检测； S2:对其进行 下采样， 采样窗口为10x10， 最终将其下采样成为 一个2x2大小的特 征图； S3:收集含有烟雾或火焰的图像制作训练数据集， 结合企业危险源分析， 选择不同可燃 物类型的火灾图片， 火灾图片包括汽油火灾、 柴油火灾、 润滑油火灾、 天然气火灾、 木垛火 灾、 轮胎火灾、 电缆电气火灾， 选择不同规模尺寸的火灾图片， 小尺寸火灾图片(一级灵敏 度)、 中尺寸火灾图片(二级灵敏度)、 大尺寸火灾图片(三级灵敏度)， 不同烟雾类型的火灾 图片， 如稀薄烟雾、 白烟 烟雾、 黑烟 烟雾、 低照度下的烟雾图片； S4:进行原始烟雾和火焰图像采集(不同背景下的不同形态被检测目标)； 通过提出典 型火灾烟雾或火焰特征元素， 针对不同背 景进行目标叠加， 模拟特定场所火警的火灾图片； 针对扣取火灾特征元素标进行45 °、 135°等角度旋转叠加至不同背景下， 模拟真实火灾情况 下受到烟气、 风力影响； S5:进行模型训练， 得到训练数据集后， 通过深度学习网络模型对数据集进行训练， 训 练过程可以通过可视化工具进行观察分析； 即为训练过程中损失函数Loss的变化趋势， 可 以看出整个训练过程进行了50000次迭代， 其中在到达15000次的时候损失基本趋于稳定， 训练过程基本达到预期； 该算法 的训练效率对运行环境有较高的依赖， 下图10loss训练趋 势实验仅在单GPU环境下进行， 通过提高GPU的数量并行运 算可以使得训练时间大幅缩短； S6:进行人员行为分析， 针对关键岗位的人员行为分析的问题， 提出了一种基于视频的 行为分析方法； 制作了包含多姿态样本的岗位人员行为数据集， 并使用YOLOv3网络训练该 数据集得到行为检测模型； 使用提出的人员行为分析算法结合行为检测模 型对视频进 行处 理， 对人员行为进 行初步分析； 在人员行为分析算法的基础上， 结合图像相似度和明暗度特 征， 进行深度分析并给 出离岗、 睡觉、 摔倒、 抽烟和玩手机等事 件的判断结果； S7:进行基于视频帧序列的行为分析， 针对视频序列的信息分析， 提出了一个基于视频 的行为分析方法； 该方法对于连续的多个单帧图像的行为进 行检测， 再利用逻辑判断， 分析 出视频中的行为事件； 这样， 使用多帧图像综合分析行为事件， 避免了单帧图像漏检、 错检 而造成的事 件错误判断， 提高了行为事 件判断的鲁棒 性与适应性。 2.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述步骤S1中， Low ‑Level层卷积可以提取出低层次的特征； Mi d‑Level层卷积可以提取出中 层次的特 征； High‑Level层卷积可以提取 出高层次的特 征。 3.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述步骤S2中， 边框的表示方式通过框的中心坐标bx,by以及框的宽bw， 高bh这4个变量来表 示； 实际预测的值为tx,ty,tw,th； 由tx,ty,tw,th得到bx,by,bw,b h的详细公式如上图， 其 中， cx， cy为框的中心坐标所在的gridcell距离左上角第一个gridcell的cell个数； tx,ty 为预测的边框的中心点坐标； σ(t)函数为logistic函数， 将坐标归一化到0 ‑1之间； 最终得 到的bx,by为归一化后的相对于gridcell的值tw,th为预测的边框的宽， 高； pw,ph为anchor权　利　要　求　书 1/4 页 2 CN 114998783 A 2的宽， 高； 实际在使用中， 为了将bw,bh也归一化到0 ‑1， 实际程序中的pw,ph为anchor的宽， 高和featuremap的宽， 高的比值； 最终得到的bw,bh为归一化后相对于featuremap的比值； σ (t0)表示预测的边框的置信度， 为预测的边框的概率和预测的边框与gr oundtruth的IOU值 的乘积。 4.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述步骤S6中， 采用了精度与速度 都较优的YOLOv3算法； 其在网络结构方面基于残差网络提 出了Darknet ‑53， 在网络层间设置了快捷链路， 并利用多尺度的特征进行对象预测， 如图5 所示； 同时， YOLOv3使用9种尺度的先验框， 分别在三个预测尺度上进行分配， 并且使用了 logistic分类代替了softmax分类， 能够进行多标签预测。 5.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述针对部分数据集火灾图片添加噪声或颜色渲染等， 模拟视频源数据或视频传输过程中视 频质量受到干扰影响； 干扰源学习， 针对化工园区内可能存在的干扰源， 收集相关图片进 行 标定学习， 如粉尘和水蒸气。 6.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述步骤S7中， 针对两帧图像的相似度分析， 本发明提出了一种相 似度计算方法， 原理如图6 所示； 首先从缓存区中取两帧图像中的目标人， 得到两个框的相交区域； 之后， 对两个相交 区域进灰度化处理， 取绝对值差， 对其进行二值化处理； 然后， 使用小卷积核对差值图像做 腐蚀操作， 消除图像的噪声等微小变化对算法造成的影响； 再接着， 使用大卷积核对处理后 的图像做膨胀操作， 增大变化区域的权重； 最后， 统计出图像中像素值为0的黑色像素数占 整个图像 像素数的比值， 如式(3)所示， 其中Pixeli,j代表图像中第i行j列的像素值； 当相似比大于Tsimilar， 则认为检测到 的人保持静止， 疑似睡觉， 累加睡觉时间计数器Countsle ep。 7.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述步骤S3中， 总计收集整理100000张包含烟雾或火焰的图像和5000张其他干扰图像作为训 练数据， 将其中50000张作为训练数据集， 50000张作为测试数据集； 将全部训练数据集和测 试数据集的图像进行预 处理后使用深度学习网络进行训练学习； 其中每个图像都包含了对 应的分类标签。 8.如权利要求1所述的一种用于烟 火及人员行为视频分析的前端设备， 其特征在于： 所 述步骤S7中， 基于 视频帧序列的人员行为分析算法的流 程如下： 输入： 视频流图像及深度学习检测结果Framet 输出： 视频流场景的行为识别结果 初始化： 缓存区存 入间隔帧数 Framenum＝ N+， 视频帧号FrameN o＝0， 缓存区大小B∈N+， 行为事 件判断阈值T权　利　要　求　书 2/4 页 3 CN 114998783 A 3