(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210825594.4 (22)申请日 2022.07.14 (71)申请人 易视腾科技股份有限公司 地址 214028 江苏省无锡市新吴区菱湖大 道97-1号大 学科技园立 业楼C区4楼 (72)发明人 田泽康　邓卉　 (74)专利代理 机构 北京联创佳为专利事务所 (普通合伙) 11362 专利代理师 郭防 (51)Int.Cl. G06F 16/783(2019.01) G06V 10/74(2022.01) (54)发明名称 一种基于直线检测的视频相似片段搜索方 法 (57)摘要 本发明公开了一种基于直线检测的视频相 似片段搜索方法， 包括以下步骤： 抽取查询视频 的关键帧， 得到关键帧集合； 提取视频的关键帧 集合中每个关键帧的图像特征， 得到视频的图像 特征集合； 对照查询视频图像特征集合中的每个 图像特征， 在参考视频图像特征集合中找出与此 图像特征值最相似的K个图像特征， 得到特征候 选集合并保存； 将特征候选集合绘制成二维图 像， 通过线段检测方法对二维图像进行线段检测 得到候选线段， 再对通过检测的候选线段进行过 滤， 得到候选线段集合； 其中关键帧匹配中直线 检测方法， 能够检测复杂的分段的视频相似片 段， 实现了对相似片段的准确定位； 同时兼顾了 搜索定位速度， 更能适应 工程实践环境的应用。 权利要求书3页 说明书8页 附图4页 CN 115374309 A 2022.11.22 CN 115374309 A 1.一种基于直线检测的视频相似片段搜索方法， 其特 征在于， 包括以下步骤： S110、 抽取查询视频的关键帧， 得到查询视频的关键帧集合， 抽取视频库中参考视频的 关键帧， 得到参 考视频的关键帧集 合； S120、 提取查询视频的关键帧集合中每个关键帧的图像特征， 得到查询视频的图像特 征集合， 提取参考视频的关键 帧集合中每个关键帧的图像特征， 得到参考视频的图像特征 集合； S130、 对照查询视频图像特征集合中的每个图像特征， 在参考视频图像特征集合中找 出与此图像特 征值最相似的K个图像特 征， 得到特 征候选集 合并保存； S140、 将特征候选集合绘制成二维图像， 通过线段检测方法对二维图像进行线段检测 得到候选线段， 再对通过检测的候选线段进行 过滤， 得到候选线段集 合； S150、 候选线段集 合中候选线段异常的处 理； S160、 根据处理完异常情况后的候选线段集合， 定位出查询视频和参考视频中的相似 片段。 2.根据权利要求1所述的基于直线检测的视频相似片段搜索方法， 其特征在于， 所述步 骤S110采用均匀采样方式从查询视频和参考视频中抽取关键帧， 查询视频和参考视频都是 由连续的多帧图像组成， 预设一个固定帧数， 每隔预设的帧数提取一个 关键帧， 得到查询视 频和参考视频的关键帧集合， 查询视频的关键帧集合长度为M， 参考视频的关键帧集合长度 为N， 关键帧集 合中每个关键帧对应预设固定帧数间隔的视频片段。 3.根据权利要求1所述的基于直线检测的视频相似片段搜索方法， 其特征在于， 所述步 骤S120采用传统方法提取关键帧的图像特征， 提取查询视频关键帧集合中每个关键帧的图 像特征， 得到查询 视频的图像特征集合； 提取参考视频关键帧集合中每个关键帧的图像特 征， 得到参考视频的图像特征集合； 传统方法具体可以为SIFT特征或基于深度学习的方法 得到嵌入向量。 4.根据权利要求1所述的基于直线检测的视频相似片段搜索方法， 其特征在于， 所述步 骤S130包括： S131、 对于查询视频关键帧集合中每一关键帧Qi， 将关键帧Qi对应的图像特征与参考视 频图像特征集合中的图像特征做比较， 查找出参考视频图像特征集合中与关键帧Qi对应的 图像特征最相似K个图像特征， 最相似的K个图像特征对应的参考视频关键帧作为特征候 选， 查找结束后得到特 征候选集 合； S132、 获取相似度值的方法与 提取关键帧的图像特征的方法对应， 可以用SIFT计算； 用 基于深度学习的嵌入向量方法提取关键帧的图像特 征时， 可以用计算 余弦相似度； S133、 将特征候选集合与相似度值保存为二元组列表Q， Q{(ri1， si1)， ， ...， (rij， sij)， ...， (riK， siK)}， 其rij表示与Qi第j相似的参考视频关键帧的序号， sij表示与Qi第j相似 的参考视频关键帧的相似度值。 5.根据权利要求4所述的基于直线检测的视频相似片段搜索方法， 其特征在于， 所述步 骤S140包括： S141、 根据所述列表Q绘制成二维图像I， 二维图像I的横轴为查询视频关键帧的序号， 二维图像I的纵轴为参考视频关键帧序号， 每个查询视频关键帧对应K个参考视频关键帧， 二维图像上每个查询 视频关键 帧序号上都有K个点， 其中每个点对应一个参考视频关键 帧权　利　要　求　书 1/3 页 2 CN 115374309 A 2的序号； S142、 线段检测： 采用带权重的Hough检测直线， 根据 二维图像I中的点找出所有符合条 件的候选线 段， 候选线 段是由二维图像I中的点构成的， 每个点的权重取为该点对应的查询 关键帧与参考关键 帧的相似度值， 相似度值高的点具有更高的权重， 相似度值高的点能优 先于低相似度的点形成候选线段， 得到候选线段集 合CandSet1； S143、 候选线段集合CandSet1中每个候选线段还包含匹配点集， 匹配点集中每个匹配 点是一个二元组(i,j)， i 为查询视频关键帧索引号， j为 参考视频关键帧索引号； S144、 对上述候选线段集合CandSet1进行粗过滤， 保留候选线段的条件： 候选线段的查 询视频关键帧数目不小于A， 候选线段的斜 率在[1/k,k]之间， 得到候选线段集 合CandSet 2； S145、 对候选线段集合CandSet2进一步过滤， 候选线段集合CandSet2中候选线段的起 始匹配点和终止匹配点 跨度大的时候， 需要 进一步过滤： 根据候选线段集合CandSet2中每个候选线段的匹配点集， 计算其跨度D,点数X， 根据亥 姆霍兹准则， 即随机生成事件的概率越低事件的显著性越强， 一类匹配点集中的参考视频 关键帧近似为一个递增子序列， 通过计算长度为D的随机序列中出现长度x不小于X的递增 子序列的概率P来作过滤条件， 另一类匹配点集中的参考视频关键帧近似为一个递减子序 列， 通过计算长度为D的随机序列中出现长度x不小于X的递减子序列的概率P来作过滤条 件， 概率P小于一定的预设阈值p； 概率P(x＞＝X)的计算方法： P(x＞＝X)＝1 ‑NormCDF(X,mean,var)； 其中NormCDF为标准正态累计分布函数 ， mean为其均值 ， var为其方差 ， 过滤后得到候选线段集 合CandSet3 。 6.根据权利要求5所述的基于直线检测的视频相似片段搜索方法， 其特征在于， 所述步 骤S150中有两种异常情况， 一种为所述候选线段内部出现间断， 另一种为候选线段存在重 叠， 针对这两种异常情况对候选线段集 合CandSet3进一 步处理： S151、 对候选线段集合CandSet3 的每个候选线段进行计算， 计算候选线段匹配点集中 每个点的相似度之和作为评 分， 将候选线 段集合CandSet3中所有候选线段按照评 分从高到 低排序， 得到列表CandL ist1； S152、 处理候选线段内部出现间断： 预设最大间隔n， 对列表CandList1中的每个候选进 行截断检查， 判断候选线段匹配点集中两个相邻的点距离超过了预设最大间隔n， 则判别为 线段断开， 从这相 邻的两个点， 将该候选线段一分为前后两个子候选线 段， 将前一个子候选 线段进行粗过滤和进一步过滤后， 若符合条件， 则放入 结果列表CandList2， 否则丢弃， 将后 一个子候选线段进行粗过滤和进一步过滤后， 若符合条件， 则放入结果列表CandList2， 否 则丢弃； 直到对列表CandL ist1中所有候选进行截断检查完毕； S153、 处理候选线段重叠情况： 对结果列表CandList2中的每个候选线段进行计算， 计 算候选线段匹配点集中每个点的相 似度之和作为评分， 将结果列表CandList2 中所有候选 线段按照评 分从高到低排序， 从结果列表CandList2中依次取出一个候选线 段， 将其与结果 列表CandList2中排序在其后的线 段进行重叠检测， 若存在重叠， 则将该候选线 段中对应的 重叠部分截去， 直到结果列表CandList2中每个候选线 段都取出进 行判断过， 最后得到结果权　利　要　求　书 2/3 页 3 CN 115374309 A 3