(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210583830.6 (22)申请日 2022.05.27 (65)同一申请的已公布的文献号 申请公布号 CN 114694103 A (43)申请公布日 2022.07.01 (73)专利权人 瞳见科技有限公司 地址 250101 山东省济南市高新区经十路 7000号汉峪金融商务中心五区5号楼 12层1201号 (72)发明人 于海涛　马晓亮　崔海东　冯政　 于鹏　 (74)专利代理 机构 济南舜源专利事务所有限公 司 37205 专利代理师 徐胭脂 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) G08B 17/12(2006.01) (56)对比文件 CN 113989488 A,2022.01.28 CN 105788142 A,2016.07.20 CN 111680632 A,2020.09.18 CN 113192038 A,2021.07.3 0 CN 114463926 A,202 2.05.10 JP 2015197 788 A,2015.1 1.09 刘振.基于深度学习的烟火检测问题研究. 《中国优秀硕士学位 论文全文数据库 （电子期 刊） 》 .202 2, Joon Young Kwak et al.Forest Smo ke Detection Using CCD Camera and Spatial- temporal Variati on of Smo ke Visual Patterns. 《 201 1 Eighth I nternati onal Conference Computer Graphics, Ima ging and Visualization》 .2011, 审查员 宋海荣 (54)发明名称 一种基于深度学习的烟火识别系统及方法 (57)摘要 本申请公开了一种基于深度学习的烟火识 别系统及方法， 主要涉及深度学习技术领域， 用 以解决现有的烟火识别过程中烟火特征抽象， 形 体多样， 特征不明显不具体等技术问题。 包括： 图 像获取单元， 用于获取预设区域对应的烟火监控 图像； 时序图像处理单元， 用于确定在预设时间 段内的烟火监控图像对应的信噪比连续变化时， 确定发生烟火事件； 目标检测单元， 用于获得模 型输出的若干疑似发生烟火事件的预测目标边 框； 确定目标图片之间的特征相似度； 当若干连 续的目标图片之间的特质相似度大于预设特征 阈值时， 确定发生烟火事件； 烟火报警判定 单元， 用于进行烟火报警。 本申请通过上述方法实现了快速定位 疑似发送烟火事件的位置， 提高了烟火 识别精度。 权利要求书2页 说明书6页 附图2页 CN 114694103 B 2022.10.18 CN 114694103 B 1.一种基于深度学习的烟火识别系统， 其特 征在于， 所述系统包括： 图像获取单元， 用于基于预设获取间隔， 获取预设区域对应的烟 火监控图像， 生成相同 内容的第一检测任务和第二检测任务； 时序图像处理单元， 用于获取第一检测任务， 计算第一检测任务对应的烟火监控图像 的信噪比； 当确定在预设时间段内的烟火监控图像对应的信噪比连续变化时， 确定发生烟 火事件， 生成第二检测任务终止指令； 目标检测单元， 用于获取第二检测任务， 将第二检测任务对应的若干烟火监控图像输 入训练好的深度学习目标检测模型， 以获得模型输出的若干疑似发生烟火事件的预测目标 边框； 当最后输出的预测目标边框与首次输出的预测目标边框的面积比值超过预设比值阈 值时， 从预测目标边框中截取目标图片； 所述目标检测单 元包括算法训练模块； 所述算法训练模块， 用于获取烟火监控图像和实 际目标边框作为训练样本； 将所述训 练样本输入预设神经学习算法， 基于所述训练样本对预设神经学习算法进行训练， 以确定 所述神经学习算法对应的权重和偏置； 获取预设神经学习算法输出 的预测目标边框； 进而 获取所述预测目标边框对应的第一面积和目标边框对应的第二面积； 通过损失矫正函数公 式： ； 获得矫正损失值， 进 而完成预设神经 学习算法的训练； 其中， A为第一面积和第二面积的交集面积， B为第一面积和第二面积的并集面积， C为 第一面积和第二 面积的最小外 接矩形面积； 烟火特征比对单元， 用于将目标图片导入训练好的烟火图像特征比对模型， 确定目标 图片之间的特征相似度； 当若干连续的目标图片之间的特质相似度大于预设特征阈值时， 确定发生烟火事 件， 生成第一检测任务终止指令； 烟火报警判定单 元， 用于在确定发生烟火事 件后， 进行烟火报警。 2.根据权利要求1所述的基于深度学习的烟 火识别系统， 其特征在于， 所述烟 火特征比 对单元包含烟火特 征比对模块； 所述烟火特征比对模块， 用于将目标图片处理为预设尺寸图片； 将预设尺寸图片， 转为 尺寸对应的灰度级， 确定预设尺寸图片 像素的灰度 平均值； 将每个像素的灰度， 与 平均值进 行比较； 大于或等于平均值， 记为1， 小于平均值， 记为0； 进而生成图片特征值； 基于所述图 片特征值， 计算目标图片之间的相似度。 3.根据权利要求1所述的基于深度学习的烟 火识别系统， 其特征在于， 所述 时序图像处 理单元还包括第一指令 接收模块， 所述目标检测单 元还包括第二指令 接收模块； 所述第一指令 接收模块， 用于 接收第一检测任务终止指令， 并结束第一检测任务； 所述第二指令 接收模块， 用于 接收第二检测任务终止指令， 并结束第二检测任务。 4.根据权利要求1所述的基于深度学习的烟 火识别系统， 其特征在于， 所述系统还包括 远程网络节点接入单 元； 所述远程网络节点接入单元， 用于在检测到图像获取单元和/或时序图像处理单元和/ 或目标检测单元和/或烟火特征比对单元和/或烟火报警判定单元不在线时， 接入远程网络 节点建立自组网络， 提供 无线网络 。 5.一种基于深度学习的烟火识别方法， 其特 征在于， 所述方法包括：权　利　要　求　书 1/2 页 2 CN 114694103 B 2基于预设获取间隔， 获取预设区域对应的烟火监控图像， 生成相同内容的第一检测任 务和第二检测任务； 获取第一检测任务， 计算第一检测任务对应的烟火监控图像的信噪 比； 当确定在预设 时间段内的烟火监控图像对应的信噪比连续变化时， 确定发生烟火事件， 生成第二检测任 务终止指令； 获取烟火监控图像和实际目标边框作为训练样本； 将所述训练样本输入预设神经学习 算法， 基于所述训练样本对预设神经学习算法进行训练， 以确定所述神经学习算法对应的 权重和偏置； 获取预设神经学习算法输出 的预测目标边框； 进而获取所述预测目标边框对 应 的 第 一 面 积 和 目 标 边 框 对 应 的 第 二 面 积 ；通 过 损 失 矫 正 函 数 公 式 ： ； 获得矫正损失值， 进而完成预设神经学习算法的训练； 其中， A为 第一面积和第二面积的交集面积， B为第一面积和第二面积的并集面积， C为第一面积和第 二面积的最小外 接矩形面积； 获取第二检测任务， 将第 二检测任务对应的若干烟 火监控图像输入训练好的深度 学习 目标检测模型， 以获得模型输出 的若干疑似发生烟火事件的预测目标边框； 当最后输出 的 预测目标边框与首次输出的预测目标边框的面积比值超过预设比值阈值时， 从预测目标边 框中截取目标图片； 将目标图片导入训练好的烟火图像特征比对模型， 确定目标图片之间的特征相似度； 当若干连续的目标图片之间的特质相似度大于预设特征阈值时， 确定发生烟火事件， 生成 第一检测任务终止指令； 在确定发生烟火事 件后， 进行烟火报警。 6.根据权利要求5所述的基于深度学习的烟 火识别方法， 其特征在于， 在确定目标图片 之间的特 征相似度之前， 所述方法还 包括： 将目标图片处理为预设尺寸图片； 将预设尺寸图片， 转为尺寸对应的灰度级， 确定预设 尺寸图片像素的灰度平均值； 将每个像素的灰度， 与平均值进行比较； 大于或等于平均值， 记为1， 小于平均值， 记为0； 进而生 成图片特征值； 基于所述图片特征值， 计算目标图片之间 的相似度。权　利　要　求　书 2/2 页 3 CN 114694103 B 3