(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210788886.5 (22)申请日 2022.07.06 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼6层 601 (72)发明人 曹琼　石鼎丰　陶大程　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 方亮　许蓓 (51)Int.Cl. G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 解码器的训练方法、 目标检测方法、 装置以 及存储介质 (57)摘要 本公开提供了一种编码器的训练方法、 目标 检测方法、 装置以及存储介质， 其中的训练方法 包括： 使用关系注意力模块并基于查询特征， 生 成与查询特征相对应的显著查询特征集合， 用以 进行更新处理； 使用跨越注意力模块并基于更新 后的查询特征， 获取与更新后的查询特征相对应 的预测片段质量信息， 并构建片段质量损失函 数； 获取与查询特征相对应的预测视频片段之间 的片段关系特征， 构建片段关系损失函数； 根据 片段质量损失函数和片段关系损失函数进行调 整处理。 本公开能够减少无效查询特征对预测的 干扰， 可以抑制冗余的预测结果， 提升检测结果 的准确性。 权利要求书3页 说明书11页 附图8页 CN 115063666 A 2022.09.16 CN 115063666 A 1.一种解码器的训练方法， 其中， 解码器包括： 关系注意力模块和跨越注意力模块； 所 述训练方法包括： 使用所述关系注意力模块并基于查询特征， 生成与所述查询特征相对应的显著查询特 征集合， 用以使用所述关系注意力模块并基于所述显著 查询特征集合对所述查询特征进 行 更新处理； 使用所述跨越注意力模块并基于更新后的查询特征， 获取与 所述更新后的查询特征相 对应的预测片段质量信息， 并根据所述预测片段质量信息构建片段质量损失函数； 获取与所述查询特征相对应的预测视频片段之间的片段关系特征， 构建片段关系损失 函数； 根据所述片段质量损失函数和所述片段关系损失函数， 对所述关系注意力模块和所述 跨越注意力模块进行调整处 理。 2.如权利要求1所述的方法， 所述生成与所述查询特征相对应的显著查询特征集合包 括： 使用所述关系注意力模块并基于查询特征， 获取各个查询特征之间的相似度信息、 与 各个查询特 征对应的视频片段之间的片段关系特 征信息； 根据所述相似度信息， 生成与所述 查询特征相对应的相似特 征集合； 根据所述片段关系特 征信息， 生成与所述 查询特征相对应的关系特 征集合； 基于所述相似特征集合、 所述关系特征集合以及所述查询特征自身， 生成所述显著查 询特征集合。 3.如权利要求2所述的方法， 所述根据 所述相似度信 息， 生成与 所述查询特征相对应的 相似特征集合包括： 根据所述相似度信息获取所述查询特征的相似查询特征； 其中， 所述查询特征与所述 相似查询特 征之间的相似度大于预设的相似度阈值； 基于所述相似查询特 征生成所述相似特 征集合。 4.如权利要求2所述的方法， 所述片段关系特征信息包括： 片段交并比； 所述根据所述 片段关系特 征信息， 生成与所述 查询特征相对应的关系特 征集合包括： 根据所述片段交并比获取所述查询特征的关系查询特征； 其中， 所述查询特征与所述 关系查询特 征之间的片段交并比大于预设的交并比阈值； 基于所述关系查询特 征生成所述关系特 征集合。 5.如权利要求2所述的方法， 所述基于所述相似特征集合、 所述关系特征集合以及所述 查询特征自身， 生成所述显著查询特 征集合包括： 获取所述相似特 征集合关于所述关系特 征集合的相对补集； 将所述相对补集与所述 查询特征自身的并集， 作为所述显著查询特 征集合。 6.如权利要求1所述的方法， 所述预测片段质量信息包括： 预测片段质量得分； 所述使 用所述跨越注意力模块并基于更新后的查询特征， 获取与所述更新后的查询特征相对应的 预测片段质量信息包括： 确定与所述更新后的查询特征相对应的预测片段， 并获取与 所述预测片段相对应的视 频片段； 确定所述预测片段的中点与 所述视频片段的中点之间的预测距离、 所述预测片段与 所权　利　要　求　书 1/3 页 2 CN 115063666 A 2述视频片段之间的预测交并比； 基于所述预测距离和所述预测交并比， 生成所述预测片段质量得分。 7.如权利要求6所述的方法， 所述根据所述预测片段质量信息构建片段质量损失函数 包括： 确定所述预测片段中点与 所述视频片段中点之间的片段距离、 所述预测片段与所述视 频片段之间的片段交并比； 根据所述预测距离、 所述预测交并比与对应的片段距离、 片段交并比之间的偏差信 息， 构建所述片段质量损失函数。 8.如权利要求1所述的方法， 所述片段关系特征包括： 预测片段交并比； 所述获取与所 述查询特征相对应的预测视频片段之间的片段关系特 征， 构建片段关系损失函数包括： 确定与所述更新后的查询特 征相对应的预测片段之间的预测片段交并比； 根据所述预测片段交并比的累计信息， 构建所述片段关系损失函数。 9.如权利要求1所述的方法， 所述使用所述关系注意力模块并基于所述显著查询特征 集合， 对所述 查询特征进行更新处理包括： 使用所述关系注意力模块对所述显著查询特征集合内的特征进行自注意力 计算处理， 用以对所述 查询特征进行更新处理。 10.如权利要求1至9任一项所述的方法， 其中， 所述解码器模块包括： 基于Transformer结构的解码器。 11.一种目标检测方法， 包括： 获取训练好的解码器； 其中， 所述解码器是通过权利要求1至10中任一项所述的训练方 法训练得到； 使用所述解码器并基于查询特征， 生成分类置信度、 用于表征目标位置的回归信息和 预测片段质量得分； 基于所述分类置信度和预测片段质量得分， 确定预测得分。 12.一种解码器的训练装置， 其中， 解码器包括： 关系注意力模块和跨越注意力模块； 所 述训练装置包括： 查询集合获取模块， 用于使用所述关系注意力模块并基于查询特征， 生成与所述查询 特征相对应的显著查询特 征集合； 查询特征更新模块， 用于使用所述关系注意力模块并基于所述显著查询特征集合， 对 所述查询特征进行更新处理； 片段质量确定模块， 用于使用所述跨越注意力模块并基于更新后的查询特征， 获取与 所述更新后的查询特征相对应的预测片段质量信息， 并根据所述预测片段质量信息构建片 段质量损失函数； 预测损失确定模块， 用于确定获取与所述查询特征相对应的预测视频片段之间的片段 关系特征， 构建片段关系损失函数； 模块调整模块， 用于根据所述片段质量损 失函数和所述片段关系损 失函数， 对所述关 系注意力模块和所述 跨越注意力模块进行调整处 理。 13.一种解码器的训练装置， 包括： 存储器； 以及耦接至所述存储器的处理器， 所述处理器被配置为基于存储在所述存储权　利　要　求　书 2/3 页 3 CN 115063666 A 3