(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211061857.5 (22)申请日 2022.08.31 (71)申请人 杭州影象官 科技有限公司 地址 311100 浙江省杭州市余杭区仓前街 道龙园路8 8号3号楼一楼 A106-1 (72)发明人 李浬　李向顺　袁峰　邹凌云　 潘丽同　 (74)专利代理 机构 杭州华进联浙知识产权代理 有限公司 3 3250 专利代理师 何晓春 (51)Int.Cl. H04N 21/44(2011.01) H04N 21/466(2011.01) H04N 21/8549(2011.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/70(2022.01) (54)发明名称 自监督对抗视频摘要提取方法及装置 (57)摘要 本申请涉及一种自监督对抗视频摘要提取 方法、 装置、 计算机设备和存储介质。 方法包括： 获取目标视频； 提取目标视频的帧特征， 基于帧 特征将目标视频分割为若干镜头， 并在镜头之间 嵌入基于目标视频采样得到的上下文潜在序列； 基于帧特征的全局依赖和帧间信息交互对帧特 征进行特征处理， 同时将上下文潜在序列转换为 过渡特征， 并将帧特征与过渡特征拼接； 对拼接 之后的帧特征与过渡特征进行鉴别得到视频摘 要。 本方法首次以自监督的方式解决视频摘要的 提取， 进一 步提升了视频摘要提取的合理性。 权利要求书2页 说明书10页 附图3页 CN 115442660 A 2022.12.06 CN 115442660 A 1.一种自监 督对抗视频摘要提取 方法， 其特 征在于， 所述方法包括： 获取目标视频； 提取所述目标视频的帧特征， 基于所述帧特征将所述目标视频分割为若干镜头， 并在 所述镜头之间嵌入基于所述目标视频采样得到的上 下文潜在序列； 基于所述帧特征的全局 依赖和帧间信 息交互对所述帧特征进行特征处理， 同时将所述 上下文潜在序列转换为过渡特 征， 并将所述帧特 征与所述过渡特 征拼接； 对拼接之后的所述帧特 征与所述过渡特 征进行鉴别得到 视频摘要。 2.根据权利要求1所述的方法， 其特征在于， 所述提取所述目标视频的帧特征， 基于所 述帧特征将所述目标视频分割为若干 镜头包括： 通过对所述目标视频进行降采样得到降采样视频， 并对所述降采样视频进行特征提 取， 得到所述帧特 征； 基于所述帧特征通过核时序分割算法提取一系列 所述目标视频的转变点， 并根据 所述 转变点分割所述目标视频 得到各个所述镜 头。 3.根据权利要求1所述的方法， 其特征在于， 所述在所述镜头之间嵌入基于所述目标视 频采样得到的上 下文潜在序列包括： 基于所述目标视频的帧数和镜头数按照对应预设选择比平均分配形成所述上下文潜 在序列， 并嵌入于各个所述镜 头之间。 4.根据权利要求1所述的方法， 其特征在于， 在所述基于所述帧特征的全局 依赖和帧间 信息交互对所述帧特 征进行特征处理之前， 还 包括： 将同一所述镜 头的所述帧特 征求和， 得到 镜头级特征； 对所述镜 头级特征进行特征提取， 获取同一所述镜 头的共同特 征； 将所述共同特 征与同一所述镜 头的所述帧特 征相加， 得到新的所述帧特 征。 5.根据权利要求4所述的方法， 其特征在于， 基于帧级别 至镜头级别的第 一映射矩阵将 同一所述镜头的所述帧特征求和， 得到镜头级 特征， 基于Transformer模 型对所述镜头级特 征进行特征提取， 获取同一所述镜头的共同特征， 基于镜头级别至帧级别的第二映射矩阵 将所述共同特 征与同一所述镜 头的所述帧特 征相加， 得到新的所述帧特 征。 6.根据权利要求1至5任意一项所述的方法， 其特征在于， 所述基于所述帧特征的全局 依赖和帧间信息交 互对所述帧特 征进行特征处理包括： 通过混合多头注意力基于所述帧特征的全局依赖和帧间信息交互对所述帧特征进行 特征处理， 其中， 所述混合多头注意力为结合掩码矩阵的自注意力矩阵， 所述混合多头注 意 力包括用于全局依赖提取的第一注意力头组、 用于约束所述镜头内语义一致性的第二注意 力头组， 所述第二注意力头组基于掩码矩阵进行帧间信息交互， 以约束所述镜头内语义一 致性。 7.根据权利要求1至5任意一项所述的方法， 其特征在于， 所述对拼接之后的所述帧特 征与所述过渡特 征进行鉴别得到 视频摘要包括： 对拼接之后的所述帧特征与所述过渡特征采用不同核大小的一维卷积分别进行特征 提取； 将卷积之后的特 征沿通道维度链接并进行鉴别， 得到所述视频摘要。 8.一种自监督对抗视频摘要提取装置， 其特征在于， 所述装置包括： 特征提取网络与一权　利　要　求　书 1/2 页 2 CN 115442660 A 2致性自监督对抗网络， 所述 一致性自监督对抗网络包括 生成器和鉴别器； 所述特征提取网络， 用于获取目标视频， 以及提取所述目标视频的帧特征， 基于所述帧 特征将所述目标视频分割为若干镜头， 并在所述镜头之 间嵌入基于所述目标视频采样得到 的上下文潜在序列； 所述生成器， 用于基于所述帧特征的全局依赖和帧间信 息交互对所述帧特征进行特征 处理， 同时将所述上 下文潜在序列转换为过渡特 征， 并将所述帧特 征与所述过渡特 征拼接； 所述鉴别器， 用于对拼接之后的所述帧特 征与所述过渡特 征进行鉴别得到 视频摘要。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115442660 A 3