(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210566909.8 (22)申请日 2022.05.24 (71)申请人 成都理工大 学 地址 610059 四川省成 都市成华区二仙桥 东三路1号 (72)发明人 周政瀚　罗标　肖淼文　张雪　 侯智焱　 (74)专利代理 机构 北京元本知识产权代理事务 所(普通合伙) 11308 专利代理师 曹广生 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 基于视频帧聚类的管网缺陷智能识别方法 及装置、 介质 (57)摘要 基于视频帧聚类的管网缺陷智能识别方法 及装置、 介质， 所述方法包括： 提取视频数据中每 个视频帧特征值,并生成特征值集； 输入视频帧 特征值集并预设阈值， 划分为第一个类别并将视 频帧特征集中的第一个视频帧特征值划分为第 一类质心， 并将之后每个视频帧特征值有序的与 已有i类别的质心计算欧式距离并与预设阈值比 较进而将它归属于已有i类别中的某 一类或者划 分为新的第i +1个类别并将它划分为新类别的质 心； 选择每个类别中距离对应质心最近的视频帧 特征值作为 关键帧特征值。 本发 明不仅提高了管 网缺陷自动化检测效率以及准确性， 还减少了工 作人员劳动强度， 在管网视频缺陷检测中具有巨 大的推广应用价 值。 权利要求书3页 说明书8页 附图4页 CN 114648534 A 2022.06.21 CN 114648534 A 1.一种基于 视频帧聚类的管网缺陷智能识别方法， 其特 征在于， 所述方法包括： 提取视频数据中各视频帧特征值， 生成视频帧特征值集X={x1…xk…xn}, 并预先设定 阈值； 确定第一个类别并将视频帧特征值集中的第 一个视频帧特征值划分为第 一类质心， 并 将之后每个视频帧特征值有序的与已有i类别的质心计算欧式距离并与预设阈值比较进而 将它归属于已有i类别中的某一类或者划分为新的第i+1个类别并将它划分为新类别的质 心： 计算第k个视频帧特征值与第j类质心的欧式距离， 若该欧式距离值小于预设阈值时， 则将该视频帧特征值归入到第 j类中并对第j 类中所有视频帧特征值取算术平均以更新第 j 类质心， 若 该欧式距离值大于等于预先设定的阈值且j不等于i时， 则计算第k个视频帧特征 值与第j+1类质心的欧式距离并再次与预设阈值进行比较， 若计算的欧式距离大于等于预 先设定的第j类阈值且j等于i时， 则划分第i+1个类别并将该视频帧特征值划分为第i+1类 质心； 选择每个类别中距离对应质心最近的视频帧特征值作为关键帧特征值， 如果某一类存 在多个与质心距离最近的视频帧特征值时， 将这些视频帧特征值取算术平均作为该类的关 键帧特征值。 2.根据权利要求1所述的方法， 其特征在于， 所述的欧式距离的计算公式如公式 （1） 所 示：                 公式 （1） 式中，  为某视频帧特征值与某质心的欧式距离， 质心包括第一类质心和新一 类质心， 其中 为某视频帧特 征值所在m维欧式空间中的点,  为某质心所在m 维欧式空间 中的点, m为视频帧特征值所包含的 多个特征，    为第k个视频帧特征值在m维欧式空间中第i维的值，    为第 j类质心的 特征值在m维欧式空间中第i维的值。 3.根据权利要求1所述的方法， 其特征在于， 通过如下公式 （2） 对第 i类中所有视频帧特 征值取算 术平均以更新第i类质心：                 公式 （2） 式中 代表更新的第j类质心，   代表属于第j类别中的特征值集， 应为属于  的 某视频帧的特 征值。 4.根据权利要求1所述的方法， 其特征在于， 所述提取视频数据中每个视频帧特征值， 包括： 利用AlexNet神经网络模型提取视频 数据中每 个视频帧的特 征值。 5.根据权利 要求4所述的方法， 其特征在于， 所述AlexNet神经网络模型包括依次连接5 个卷积层以及2个全连接层； 在第一层、 第二层以及第 五层的卷积层之后分别设有池化层，权　利　要　求　书 1/3 页 2 CN 114648534 A 2各层设有激活函数， 将输入视频帧进行前向传播， 并将第7层全连接层特征作为输出， 得到 对应视频帧特 征值； 所述激活函数如公式 （3） 所示：                    公式 （3） 式中，x为所连接的上一层网络结构的输出。 6.根据权利要求5所述的方法， 其特征在于， 所述第 一层和第 二层卷积后的激活函数经 过使用后， 利用公式 （4） 进行局部响应归一 化：            公式 （4） 式中，  是归一化后的值， 代表激活函数的输出值， 其中a表示所需计算的 卷积核， t表 示第t个通道， g,  h 表示要进 行归一化的这个值的位置坐标及宽高维度所在的 位置， 其大小不超过图片经卷积后的图像的宽高； 代表所需计算的卷积核在第 d个 通道的特征， d代表取0到 最大值， z代表  邻域的范围， 如果遇到边界情况， 则 用0补全； N代表卷积核总数量；  表示为了防止 发生除0的情 况的常数， 表示常数均为可 调整的参数， 表示常数， 均为手动设置的超参数。 7.根据权利要求1 ‑6任一项所述方法， 其特征在于， 在选择每个类别中距离对应质心最 近视频帧特 征值作为关键帧特 征值之后， 所述方法还 包括： 利用分类 器对所述关键帧特 征值进行二分类， 输出 管网缺陷识别结果。 8.根据权利要求7 所述方法， 其特 征在于， 所述分类 器通过如下 方法训练得到： 基于输入数据和学习目标， 输入数据 所在特征空间使用决策边界超平面将学习目标按 无缺陷类和有缺陷类分开； 所述输入数据为每个视频帧特征值， 所述学习目标为二元变量 表示无缺陷类和有缺陷类； 分隔超平面决策边界计算公式为：                        公式 （5） 式中， 代表超平面的法向量， T代表转置， 代表超平面截距， X代表输入的某个训练 样本的特 征值； 通过公式 （6） 计算超平面两侧的点到超平面距离：                          公式 （6） 其中，d代表超平面两侧的点到超平面距离， 代表超平面的法向量， T代表转置， 代 表超平面截距， X代表输入的某个训练样本的特 征值。 9.一种基于视频帧聚类的管网缺陷智能识别装置， 其特征在于， 所述装置包括计算单 元， 所述计算单 元配置为：权　利　要　求　书 2/3 页 3 CN 114648534 A 3