(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210847262.6 (22)申请日 2022.07.19 (71)申请人 有米科技股份有限公司 地址 510006 广东省广州市番禺区小谷围 街青蓝街26号1701 (72)发明人 黄于晏　陈畅新　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江银会 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06F 16/35(2019.01) G10L 15/08(2006.01) G06V 10/82(2022.01)G06V 10/74(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于标签约束的多模态分类模型训练方法 及装置 (57)摘要 本发明公开了一种基于标签约束的多模态 分类模型训练方法及装置， 该方法包括： 确定用 于训练模型的目标模态的训练数据和对应的数 据标签； 将所述训练数据输入训练到收敛的数据 分类模型， 得到所述训练数据对应的训练数据特 征； 将所述数据标签输入至训练好的标签分类模 型， 得到所述数据标签对应的标签特征； 将所述 训练数据和所述数据标签输入至所述数据分类 模型进行训练， 在训练中根据目标损失函数值对 所述数据分类模型的模型参数进行优化直至收 敛， 得到训练好的所述数据分类模型； 所述目标 损失函数值包括有所述训练数据特征和所述标 签特征之间的特征差异度。 可见， 本发明能够使 得模型的特征提取更具标签区分度， 进而使 得模 型的预测效果更好。 权利要求书2页 说明书12页 附图3页 CN 115358288 A 2022.11.18 CN 115358288 A 1.一种基于标签约束的多模态分类模型训练方法， 其特 征在于， 所述方法包括： 确定用于训练模型的目标模态的训练数据和对应的数据标签； 将所述训练数据输入训练到收敛的数据分类模型， 得到所述训练数据对应的训练数据 特征； 所述数据分类模型用于提取 所述目标模态的数据的特 征； 将所述数据标签输入至训练好的标签分类模型， 得到所述数据标签对应的标签特 征； 将所述训练数据和所述数据标签输入至所述数据分类模型进行训练， 在训练中根据目 标损失函数值对所述数据分类模型的模型参数进 行优化直至收敛， 得到训练好的所述数据 分类模型； 所述目标损失函数值包括有所述训练数据特征和所述标签特征之间的特征差异 度。 2.根据权利要求1所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 目标模态包括音频模态、 图像模态和文本模态中的至少一种； 和/或， 所述数据分类模型包 括音频分类模型、 图像分类模型和文本分类模型中的至少一种。 3.根据权利要求1所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 将所述数据标签输入至训练好的标签分类模型， 得到所述数据标签对应的标签特 征， 包括： 根据所述数据标签， 生成包括有所述数据标签的标签文本； 将所述标签文本输入至训练好的标签分类模型， 得到所述标签文本对应的标签特征； 所述标签分类模型通过包括有多个训练标签文本和对应的训练数据标签的训练数据集训 练得到。 4.根据权利要求1所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 目标损失函数值包括有所述特征差异度以及所述数据分类模型输出的预测标签和所述数 据标签之间的标签差异度。 5.根据权利要求4所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 目标损失函数值为所述特征差异度和所述标签差异度的加权求和值； 所述特征差异度或所 述标签差异度的权 重用于缩小两者的数据值之间的大小差距。 6.根据权利要求4所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 标签差异度为交叉熵损失函数； 和/或， 所述特 征差异度为KL散度。 7.根据权利要求1所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 标签分类模型为基于Transformer网络的分类模型。 8.根据权利要求2所述的基于标签约束的多模态分类模型训练方法， 其特征在于， 所述 音频分类模型包括Speech  Transformer模型和Conformer模型中的至少一种， 和/或， 所述 图像分类模型包括CNN模型、 ViT模型和CoTNet模型中的至少一种， 和/或， 所述文本分类模 型包括BERT模型、 XL Net模型和RoBERTa模型中的至少一种。 9.一种基于标签约束的多模态分类模型训练装置， 其特 征在于， 所述装置包括： 数据确定模块， 用于确定用于训练模型的目标模态的训练数据和对应的数据标签； 特征提取模块， 用于将所述训练数据输入训练到收敛的数据分类模型， 得到所述训练 数据对应的训练数据特 征； 所述数据分类模型用于提取 所述目标模态的数据的特 征； 标签处理模块， 用于将所述数据标签输入至训练好的标签分类模型， 得到所述数据标 签对应的标签特 征； 模型训练模块， 用于将所述训练数据和所述数据标签输入至所述数据分类模型进行训权　利　要　求　书 1/2 页 2 CN 115358288 A 2练， 在训练中根据目标损失函数值对所述数据分类模型 的模型参数进行优化直至 收敛， 得 到训练好的所述数据分类模型； 所述目标损失函数值包括有 所述训练数据特征和所述标签 特征之间的特 征差异度。 10.一种基于标签约束的多模态分类模型训练装置， 其特 征在于， 所述装置包括： 存储有可执行程序代码的存 储器； 与所述存 储器耦合的处 理器； 所述处理器调用所述存储器中存储的所述可执行程序代码， 执行如权利要求1 ‑8任一 项所述的基于标签约束的多模态分类模型训练方法。权　利　要　求　书 2/2 页 3 CN 115358288 A 3