(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084246 3.7 (22)申请日 2022.07.18 (71)申请人 科大讯飞 （苏州） 科技有限公司 地址 215000 江苏省苏州市苏州工业园区 金鸡湖大道8 8号E4单元 申请人 上海市养志 康复医院 （上海市阳光 康复中心） (72)发明人 苏晓芸　支洪平　牛文鑫　齐燕　 谢海霞　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王宝筠 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01)G06V 10/74(2022.01) (54)发明名称 一种动作匹配方法及其相关 设备 (57)摘要 本申请公开了一种动作匹配方法及其相关 设备， 该方法包括： 在获取到该目标用户通过按 照一个运动参照信息进行运动时的运动视频数 据之后， 可以依据该运动参照信息的中至少一个 标准动作数据的匹配优先级描述信息， 将该运动 视频数据中至少一帧用户动作图像与这些标准 动作数据进行匹配， 得到该目标用户的动作匹配 结果， 以使该动作匹配结果能够表 示出在该目标 用户按照运动参照信息进行动作练习 时所呈现 的运动状态， 以便该目标用户能够基于该动作匹 配结果进行更准确的动作调整， 如此有利于该用 户比较及时地发现并纠正其不标准动作， 从而有 利于避免这些不标准动作所造成的不良影响， 进 而有利于提高该目标用户的用户运动体验。 权利要求书4页 说明书29页 附图6页 CN 114926910 A 2022.08.19 CN 114926910 A 1.一种动作匹配方法， 其特 征在于， 所述方法包括： 获取目标用户的运动视频 数据； 其中， 所述 运动视频 数据包括至少一帧用户动作图像； 依据至少一个标准动作数据的匹配优先级描述信 息， 将所述至少一帧用户动作图像与 所述至少一个标准动作数据进 行匹配， 得到所述目标用户的动作匹配结果； 其中， 所述至少 一个标准动作数据是根据所述目标用户的运动参照信息确定的。 2.根据权利要求1所述的方法， 其特征在于， 所述至少一个标准动作 数据包括第 一动作 参照数据和第二动作参照数据； 其中， 所述第一动作参照数据的匹配优先级描述信息满足 第一优先级条件； 所述第二动作参照数据的匹配优先级 描述信息满足第二优先级条件； 所述依据至少一个标准动作 数据的匹配优先级描述信 息， 将所述至少一帧用户动作图 像与所述至少一个标准动作数据进行匹配， 得到所述目标用户的动作匹配结果， 包括： 将所述至少一帧用户动作图像与所述第一动作参照数据进行匹配， 得到第一匹配结 果； 依据所述第 一匹配结果， 从所述至少一帧用户动作图像中提取至少一帧待匹配动作图 像； 将所述至少一帧待匹配动作图像与 所述第二动作参照数据进行匹配， 得到第 二匹配结 果； 根据所述第一匹配结果和所述第二匹配结果， 确定所述目标用户的动作匹配结果。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述至少一帧用户动作图像与 所述 第一动作参照数据进行匹配， 得到第一匹配结果， 包括： 依据所述第 一动作参照数据的匹配条件描述信 息， 将所述至少一帧用户动作图像与 所 述第一动作参照数据进行匹配， 得到第一匹配结果。 4.根据权利要求3所述的方法， 其特 征在于， 所述第一匹配结果的确定过程， 包括： 确定各用户动作图像与所述第一动作参照数据之间的动作匹配程度； 根据各用户动作图像与所述第 一动作参照数据之间的动作匹配程度， 从所述至少一帧 用户动作图像中确定至少一个第一图像序列； 其中， 所述第一图像序列中所有图像在所述 运动视频数据中所 处位置是连续的； 所述第一图像序列中各帧图像与所述第一动作参照数 据之间的动作匹配程度均高于预设匹配度阈值； 从各所述第一图像序列中确定满足预设选用条件的待 使用图像； 构建所述第一动作参照数据与各 所述待使用图像之间的对应关系； 根据所述对应关系， 确定所述第一匹配结果。 5.根据权利要求2所述的方法， 其特征在于， 所述依据所述第一匹配结果， 从所述至少 一帧用户动作图像中提取至少一帧待匹配动作图像， 包括： 依据所述第一匹配结果， 从所述至少一帧用户动作图像中确定至少一个第二图像序 列； 所述将所述至少一帧待 匹配动作图像与 所述第二动作参照数据进行匹配， 得到第 二匹 配结果， 包括： 将第n个第二图像序列与所述第 二动作参照数据进行匹配， 得到所述第 n个第二图像序 列的数据匹配结果； 其中， n 为正整数， n≤N， N 为正整数， N表示所述第二图像序列的个数； 根据N个第二图像序列的数据匹配结果， 确定所述第二匹配结果。权　利　要　求　书 1/4 页 2 CN 114926910 A 26.根据权利要求5所述的方法， 其特 征在于， 所述第二动作参照数据的个数为M； 所述将第 n个第二图像序列与 所述第二动作参照数据进行匹配， 得到所述第 n个第二图 像序列的数据匹配结果， 包括： 依据所述第n个第二图像序列中各帧图像的序列位置描述信 息、 以及M个第 二动作参照 数据的参照时序描述信息， 将所述第n个第二图像序列与所述M个第二动作参照数据进行匹 配， 得到所述第n个第二图像序列的数据匹配结果。 7.根据权利要求5所述的方法， 其特征在于， 所述运动视频数据用于表示所述目标用户 在至少一个运动周期内的运动状态； 所述依据 所述第一匹配结果， 从所述至少一帧用户动作图像中确定至少一个第 二图像 序列， 包括： 依据所述第一匹配结果， 确定 至少一帧周期端点动作图像； 利用所述至少一帧周期端点动作图像在所述运动视频数据中所处位置， 确定所述运动 视频数据的运动周期描述信息； 根据所述 运动周期描述信息和预设动作冻结时长， 确定 至少一个匹配窗口描述信息； 按照所述至少一个匹配窗口描述信 息、 以及所述至少一帧用户动作图像在所述运动视 频数据中所处位置， 从所述至少一帧用户动作图像中确定所述至少一个第二图像序列； 其 中， 第n个第二图像序列是按照第n个匹配窗口描述信息进行确 定的； n为正整数， n≤N， N为 正整数， N表示所述第二图像序列的个数。 8.根据权利要求2所述的方法， 其特征在于， 所述至少一个标准动作 数据还包括第 三动 作参照数据； 其中， 所述第三动作参照数据的匹配优先级 描述信息满足第三优先级条件； 所述方法还 包括： 依据所述第 二匹配结果， 从所述至少一帧待 匹配动作图像中提取至少一帧待处理动作 图像； 将所述至少一帧待处理动作图像与 所述第三动作参照数据进行匹配， 得到第 三匹配结 果； 所述根据所述第一匹配结果和所述第二匹配结果， 确定所述目标用户的动作匹配结 果， 包括： 根据所述第一匹配结果、 所述第 二匹配结果、 以及所述第 三匹配结果， 确定所述目标用 户的动作匹配结果。 9.根据权利要求8所述的方法， 其特征在于， 所述依据所述第二匹配结果， 从所述至少 一帧待匹配动作图像中提取至少一帧待处 理动作图像， 包括： 依据所述第 一匹配结果和所述第 二匹配结果， 从所述至少一帧用户动作图像中确定至 少一个第三图像序列； 所述将所述至少一帧待处理动作图像与 所述第三动作参照数据进行匹配， 得到第 三匹 配结果， 包括： 将第i个第三图像序列与所述第 三动作参照数据进行匹配， 得到所述第 i个第三图像序 列的数据匹配结果； 其中， i 为正整数， i≤I， I 为正整数， I表示所述第三图像序列的个数； 根据I个第三图像序列的数据匹配结果， 确定所述第三匹配结果。 10.根据权利要求9所述的方法， 其特 征在于， 所述第三动作参照数据的个数为G；权　利　要　求　书 2/4 页 3 CN 114926910 A 3