(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615403.1 (22)申请日 2022.06.01 (71)申请人 北京爱笔 科技有限公司 地址 100094 北京市海淀区北清路81号 二 区1号楼12层1202室、 13层整层 (72)发明人 王青天　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张静 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/74(2022.01) (54)发明名称 骨骼序列行为识别方法和装置 (57)摘要 本申请提供了一种骨骼序列行为识别方法， 包括： 获取包含多帧骨骼编码帧的待处理骨骼编 码帧组中只包含拓扑结构 对应的骨骼编码单位， 而不具有拓扑结构的细 节关键点； 将骨骼编码帧 组作为初始输入信息输入目标处理模 型， 目标处 理模型包括至少两层处理模块， 控制每层处理模 块中的空间维度处理单元和时间维度处理单元 分别对于输入信息进行拓扑结构内变化和拓扑 结构间变化的处理， 得到目标处理结果； 基于目 标处理结果， 确定该骨骼编码帧组对应的行为动 作， 最终得到该骨骼编码帧组对应的行为动作既 能够对于 大幅动作进行区分， 也能够对于细 节动 作识别。 权利要求书3页 说明书23页 附图11页 CN 114821671 A 2022.07.29 CN 114821671 A 1.一种骨骼序列行为识别方法， 其特 征在于， 包括： 获取待处理的骨骼编码帧组， 所述待处理的骨骼编码帧组包含多帧骨骼编码帧， 每帧 骨骼编码帧中包括多个骨骼编码单位， 一个骨骼编码单位与动物体的一个拓扑结构相对 应， 每个骨骼编码单位对应一个第一数组， 所述第一数组包括至少一个数据； 将所述骨骼编码帧组作为初始输入信 息输入目标处理模型， 所述目标处理模型包括至 少两层处 理模块， 每层处 理模块包括空间维度处 理单元和时间维度处 理单元； 控制目标处理模型中每层处理模块中的空间维度处理单元和时间维度处理单元分别 对于输入信息进行拓扑 结构内变化和拓扑 结构间变化的处 理， 得到目标处 理结果； 基于所述目标处 理结果， 确定所述骨骼编码帧组对应的行为动作。 2.根据权利要求1所述的方法， 其特征在于， 所述获取待处理的骨骼编码帧组之后， 还 包括： 依次对所述骨骼编码帧组中骨骼编码单位对应的第 一数组排序， 得到第 一骨骼编码序 列； 在所述第一骨骼编码序列前面插入第一标识， 得到第二骨骼编码序列， 所述第二骨骼 编码序列用于作为所述目标处 理模型的初始输入信息 。 3.根据权利要求1 ‑2任一项所述的方法， 其特征在于， 控制目标处理模型中每层处理模 块中的空间维度处理单元和时间维度处理单元分别对于输入信息进行拓扑结构 内变化和 拓扑结构间变化的处 理， 得到目标处 理结果， 包括： 对于输入当前层的输入信息在空间维度和时间维度分别进行拓扑结构内变化和拓扑 结构间变化的处 理， 得到当前层的处 理结果； 将当前层的处理结果作为下一层的输入信 息进行空间维度和时间维度的处理， 直至所 述目标处 理模型中每一层处 理完成处 理， 输出目标处 理结果。 4.根据权利要求3所述的方法， 其特征在于， 对于输入当前层的输入信 息在空间维度和 时间维度分别进行拓扑结构内变化和拓扑结构间变化的处理， 得到当前层的处理结果， 包 括： 控制空间维度处理单元， 对于所述当前层的输入信 息进行拓扑结构内变化和拓扑结构 间变化的处 理， 得到第一输出信息； 控制时间维度处理单元基于所述第 一输出信 息， 对于所述第 二骨骼编码序列进行拓扑 结构内变化和拓扑结构间变化的处理， 得到第二输出信息， 所述第二输出信息作为当前层 的处理结果。 5.根据权利要求4所述的方法， 其特征在于， 控制空间维度处理单元， 对于所述当前层 的输入信息进行拓扑 结构内变化和拓扑 结构间变化的处 理， 得到第一输出信息， 包括： 控制空间维度处理单元， 从输入当前层的所述输入信息中获取第一目标信息， 所述第 一目标信息与所述第一标识的位置、 长度分别对应； 在空间维度， 计算所述第一目标信息与第一非目标信息中每个第二数组的第一相似 度， 基于所述第一相似度得到第一结果值， 所述第二数组与第一数 组的长度相同， 所述第一 非目标信息是 所述输入信息中除了第一目标信息的剩余信息； 以帧为单位计算得到多帧骨骼编码帧中拓扑结构间的第一变化值， 以拓扑结构为单 位， 计算得到骨骼编码帧中每 个拓扑结构内的第二变化 值；权　利　要　求　书 1/3 页 2 CN 114821671 A 2基于所述第一变化 值以及所述第二变化 值， 得到第二结果 值； 基于第一结果 值和第二结果 值， 计算得到所述第一输出信息 。 6.根据权利要求4所述的方法， 其特征在于， 控制时间维度处理单元基于所述第 一输出 信息， 对于所述第二骨骼编码序列拓扑结构内变化和拓扑结构间变化的处理， 得到第二输 出信息， 包括： 控制时间维度处理单元将所述第 一输出信 息与所述第二骨骼编码序列相加， 得到第 三 骨骼编码序列； 从所述第三骨骼编码序列中获取第 二目标信 息， 所述第 二目标信 息与所述第一标识的 位置、 长度分别对应； 在时间维度， 计算所述第二目标信息与第二非目标信息中每个第三数组的第三相似 度， 基于所述第三相似度得到第三结果值， 所述第三数组与第一数 组的长度相同， 所述第二 非目标信息是 所述输入信息中除了第二目标信息的剩余信息； 以帧为单位计算得到多帧骨骼编码帧中拓扑结构间的第三变化值， 以拓扑结构为单 位， 计算得到骨骼编码帧中拓扑 结构内的第四变化 值； 基于所述第三变化 值以及所述第四变化 值， 得到第四结果 值； 基于第三结果 值和第四结果 值， 计算得到所述第二输出信息 。 7.根据权利要求4所述的方法， 其特征在于， 控制空间维度处理单元， 对于所述当前层 的输入信息进行拓扑 结构内变化和拓扑 结构间变化的处 理， 得到第一输出信息， 包括： 控制空间维度处理单元在空间维度， 以帧为单位计算得到多帧骨骼编码帧中拓扑结构 间的第五变化值， 以拓扑结构为单位， 计算得到骨骼编码帧中每个拓扑结构内的第六变化 值； 基于所述第五变化 值以及所述第六变化 值， 得到第一输出信息 。 8.根据权利要求4所述的方法， 其特征在于， 控制时间维度处理单元基于所述第 一输出 信息， 对于所述第二骨骼编码序列拓扑结构内变化和拓扑结构间变化的处理， 得到第二输 出信息， 包括： 控制时间维度处理单元将所述第 一输出值与所述第 二骨骼编码序列相加， 得到第 三骨 骼编码序列； 在时间维度， 以帧为单位计算得到多帧骨骼编码帧中拓扑结构间的第七变化值， 以拓 扑结构为单位， 计算得到骨骼编码帧中每 个拓扑结构内的第八变化 值； 基于所述第七变化 值以及所述第八变化 值， 计算得到所述第二输出信息 。 9.根据权利要求3所述的方法， 其特征在于， 基于所述目标处理结果， 得到所述骨骼编 码帧组对应的行为动作， 包括： 获取所述目标处理结果中的第三目标信息， 所述第三目标信息与所述第一标识的位 置、 长度分别对应； 基于所述第三目标信息对应的类型， 确定所述骨骼编码帧组对应的行为动作。 10.一种骨骼序列识别方法， 其特 征在于， 包括： 接收输入信息， 所述输入信息是目标处理模型中上一结构发送至当前处理模块的信 息， 所述目标处理模型包括输入层和至少两层transformer模块， 每层transformer模块包 括空间维度 处理单元和时间维度 处理单元， 所述上一结构包括输入层、 空间维度 处理单元权　利　要　求　书 2/3 页 3 CN 114821671 A 3