(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210663982.7 (22)申请日 2022.06.13 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 李洪均　李超波　陈俊杰　章国安　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王毅 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于灰色对抗感知网络的视频异常事 件检测方法 (57)摘要 本发明属于智能视频处理技术领域， 具体涉 及一种基于灰色对抗感知网络的视频异常事件 检测方法。 本发 明针对编码器和解码器不能较好 地获得监控视频中正常和异常事件的判别性特 征， 提出了一个灰色感知单元来感知判别性特 征， 并引入邓氏灰色关联来优化感知单元的多样 性， 提高异常感知能力； 使异常检测精度提高。 针 对异常区域占比小且特征提取不充分的情况， 设 计了基于对抗性的判别网络， 学习预测未来帧和 真实未来帧中小目标区域的细 节特征， 降低异常 漏检的概率； 使异常检测精度提高。 本发明针对 异常检测容易受平移、 光照等因素的影响， 引入 了灰色绝对关联， 增强对帧间光照变化的鲁棒 性， 减少误检 。 权利要求书3页 说明书10页 附图1页 CN 115063742 A 2022.09.16 CN 115063742 A 1.一种基于灰色对抗感知网络的视频异常事件检测方法， 其特征在于， 包括未来帧预 测阶段和未来帧优化阶段； 未来帧预测阶段， 将连续帧作为网络输入， 首先通过编码器提取编码特征； 引入灰色感 知单元来感知编码器捕获的特征并输出具有判别性的感知特征， 采用邓氏灰色关联分析编 码特征与感知单元中感知原子的相关性， 降低特征不确定性并优化感知单元； 解码器将编 码特征和感知特 征同时作为输入来获取 预测未来帧； 未来帧优化阶段， 为了捕获预测未来帧和真实未来帧中小目标区域的详细特征， 设计 了基于对抗学习的判别网络， 学习 预测未来帧和真实未来帧的特征并输出判别概率； 引入 了灰色绝对关联来分析预测未来帧和真实未来帧的相关性， 以增强异常情况下对帧间光照 变化的鲁棒性； 将判别概率和帧相关性反馈给编码器和解码 器， 采用对抗方案优化编 码器、 解码器和判别网络； 通过多次循环迭代， 获得较优的预测未来帧， 计算真实未来帧与预测未 来帧在像素 上和特征上的差异来完成异常检测。 2.根据权利要求1所述的一种基于灰色对抗感知网络的视频异常事件检测方法， 其特 征在于， 所述未来帧预测阶段的具体步骤为： S1、 给定一个只包含正常事件的训练视频序列V， 划分为几个片段Ι＝{I1,…,It‑1,It}； 将连续帧I1,…,It‑1作为输入， 编码器输出大小为H ×W×C的编码特征e＝E(I1,…,It‑1)， 其 中H、 W、 C分别为高度、 宽度和通道数； S2、 为了更好地感知正常特征的异常特征， 在编码器后引入了灰色感知单元捕获判别 性特征， 输出感知特征 将感知特征与编码特征沿着通道维度连接起来输 入到解码器中， 获得 预测未来帧 模型表示 为： 式中， E， P和D分别为编码器、 灰色感知单 元和解码器； S3、 灰色感知单元包含M个感知项pm(m＝1，……， M)， 编码特征被输入到 灰色感知单元 感 知正常信息并输出感知特 征； S4、 给定en(n＝1，……N， N＝H×W)为编码特征中的第n个特征， 即e＝{e1,…,en…,eN}； 当感知灰 色感知单元时， 计 算每个特征en度和感知项pm之间的余弦相似度， 并使用Tanh函 数 计算相应的权值 wn,m来提高感知单 元的表征多样性： 对于任意特征en， 通过上述计算得到的权值来读取灰色感知单元， 得到感知特征 为所 有感知项的加权求和： 为了更新灰色感知单元中的感知项pm， 从所有编码特征中选择最相近的特征来并且重 组为新集合Um， 并使用Tanh函数计算相应的权值 更新后的感知项表示 为： 权　利　要　求　书 1/3 页 2 CN 115063742 A 2其中f(·)表示L2范数， 是新集合Um中特征的权重； S5、 为了优化灰色感知单元， 设计了来自类内和类间的约束条件； 类 内约束鼓励编码特 征与灰色感知单元中最接近的感知原子之间的距离尽可能小； 不仅使用绝对距离， 如式(5) 中L2范数， 而且提出使用邓氏灰色 关联来分析相对差异性； 其中， 是第n个特 征最接近的感知原子， en是编码特 征中的第n个特 征； S6、 将最接近的感知项 作为参考序列， 看出每一个 感知项包含N个感知原子， 以编码特征e＝(ei(1),ei(2),…,ei(n),…,ei(N))作为比较序 列， 其中i＝1,2, …,N和n＝1,2, …,N； 单独的编码特征与其最接近的感知原子之间的邓氏 灰色关联定义 为： 其中， 为第n个特征下感知原子与编码特征之间的关联系数； LDGR是感知 项 和整体编码特 征e的邓氏灰色 关联度； λ是一个常数， 在(0,1]之间； S7、 编码特性除了最接近的感知原子外， 应该远离其他感知原子， 使用一个边界为α 的 特征三元组约束， 如下 所示： 其中， 设置en特征， 其最接近的感知原子 和第二接近的感知原子 分别作为锚 点， 正样本和负 样本。 3.根据权利要求1所述的一种基于灰色对抗感知网络的视频异常事件检测方法， 其特 征在于， 所述未来帧优化阶段的具体步骤为： 步骤1、 编码器、 灰色感知单元和解码器提供了像素级的预测结果， 通常使用范数作为 像素约束， 减少预测未来帧与真实未来帧之间的差异， 保持外观的相似性， 如下式： 步骤2、 针对小目标区域， 使用判别网络来细化预测未来帧和真实未来帧中的区分性； 步骤3、 判别网络将未来帧转换为[0,1]之间的概率值Ddis(·)， 用于对编码器、 灰色感 知单元和解码器的反馈优化； 采用 对抗性学习方法对判别网络和三个模块的组合进行训 练； 式中， 为判别网络的约束函数， 为编码器、 灰色感知单元和解码器提供反馈； 预测权　利　要　求　书 2/3 页 3 CN 115063742 A 3