(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210813381.X (22)申请日 2022.07.11 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 殷兵　李晋　褚繁　高天　方昕　 刘俊华　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 程琛 (51)Int.Cl. G06V 40/70(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 情绪识别方法、 装置、 电子设备和存 储介质 (57)摘要 本发明提供一种情绪识别方法、 装置、 电子 设备和存储介质， 其中方法包括： 确定至少两个 模态的待识别数据； 基于各个模态的情绪识别模 型， 确定各个模态的待识别数据的情绪概率分 布； 基于各个模态的情绪概率分布， 确定情绪识 别结果； 情绪识别模型用于对对应模态的待识别 数据进行特征提取， 并基于特征提取所得的数据 特征进行情绪识别； 各个模态的情绪识别模型是 基于各个模态的样本数据的样本数据特征在同 一空间内的特征相似度， 和/或， 各个模态的样本 数据的预测概率分布之间的分布相似度， 联合训 练得到， 利用不同模态的样本数据所表征的情绪 信息的一致性， 和相同情绪在不同模态间的互补 关系训练模 型， 能够提升模型的泛化能力和情绪 识别过程的精准度。 权利要求书2页 说明书19页 附图5页 CN 115376214 A 2022.11.22 CN 115376214 A 1.一种情绪识别方法， 其特 征在于， 包括： 确定至少两个模态的待识别数据； 基于各个模态的情绪识别模型， 确定所述各个模态的待识别数据的情绪 概率分布； 基于所述各个模态的情绪 概率分布， 确定情绪识别结果； 所述情绪识别模型用于对对应模态的待识别数据进行特征提取， 并基于特征提取所得 的数据特 征进行情绪识别； 所述各个模态的情绪识别模型是基于所述各个模态的样本数据的样本数据特征在同 一空间内的特征相似度， 和/或， 所述各个模态的样本数据的预测概率分布之间的分布相似 度， 联合训练得到 。 2.根据权利要求1所述的情绪识别方法， 其特征在于， 所述各个模态的情绪识别模型基 于如下步骤训练： 基于所述各个模态的初始情绪识别模型， 确定所述各个模态的样本数据的样本数据 特 征和预测概 率分布； 将所述各个模态的样本数据的样本数据特征映射到同一空间， 得到同一空间内所述各 个模态的样本数据的样本投影特 征； 基于所述各个模态的样本数据的样本投影特征之间的特征相似度， 和/或， 所述各个模 态的样本数据的预测概 率分布之间的分布相似度， 确定联合训练损失； 基于所述联合训练损 失， 对所述各个模态的初始情绪识别模型进行参数迭代， 得到所 述各个模态的情绪识别模型。 3.根据权利要求2所述的情绪识别方法， 其特征在于， 所述基于所述各个模态的样本数 据的样本投影特征之 间的特征相似度， 和/或， 所述各个模态的样本数据的预测概率分布之 间的分布相似度， 确定联合训练损失， 包括： 从所述各个模态的样本数据中， 选取样本情绪识别结果相同的至少两个模态的样本数 据， 作为正样本数据集， 从所述各个模态的样 本数据中， 选取样本情绪识别结果不同的至少 两个模态的样本数据， 作为负 样本数据集； 基于所述正样本数据集中各样本数据的样本投影特征之间的特征相似度， 以及所述负 样本数据集中各样本数据的样本投影特 征的之间的特 征相似度， 确定对比损失； 基于所述正样本数据集中各样本数据的预测概率分布之间的分布相似度， 确定分布损 失； 基于所述对比损失和/或所述分布损失， 确定联合训练损失。 4.根据权利要求2所述的情绪识别方法， 其特征在于， 所述基于所述联合训练损 失， 对 所述各个模态的初始情绪识别模型进行参数迭代， 得到所述各个模态的情绪识别模型， 包 括： 基于所述各个模态的样本数据的预测概率分布， 以及所述各个模态的样本数据对应的 样本情绪识别结果， 确定所述各个模态的初始情绪识别模型的预测损失； 基于所述预测损失和所述联合训练损失， 对所述各个模态的初始情绪识别模型进行参 数迭代， 得到所述各个模态的情绪识别模型。 5.根据权利要求2至4中任一项所述的情绪识别方法， 其特征在于， 所述各个模态的初 始情绪识别模型基于如下步骤训练：权　利　要　求　书 1/2 页 2 CN 115376214 A 2确定至少两个模态的样本数据； 将所述各个模态的样本数据输入至对应模态的第 一情绪识别模型， 得到所述第 一情绪 识别模型输出的各个模态的第一预测概 率分布； 基于所述第 一预测概率分布和样本情绪识别结果， 对所述各个模态的第 一情绪识别模 型进行参数迭代， 得到所述各个模态的初始情绪识别模型。 6.根据权利要求5所述的情绪识别方法， 其特征在于， 所述确定至少两个模态的样本数 据， 包括： 确定至少两个模态的初始样本数据， 所述至少两个模态包括音频模态、 图像模态、 文本 模态、 脑电信号模态、 行为模态、 遗传模态中的至少两种； 对所述各个模态的初始样本数据进行时间区间划分， 得到所述各个模态的样本数据。 7.根据权利要求1至4中任一项所述的情绪识别方法， 其特征在于， 所述基于所述各个 模态的情绪 概率分布， 确定情绪识别结果， 包括： 对所述各个模态的情绪 概率分布进行加权融合， 得到融合情绪 概率分布； 基于所述融合情绪 概率分布， 确定情绪识别结果。 8.一种情绪识别装置， 其特 征在于， 包括： 待识别数据确定单 元， 用于确定 至少两个模态的待识别数据； 概率分布确定单元， 用于基于各个模态的情绪识别模型， 确定所述各个模态的待识别 数据的情绪概率分布； 所述情绪识别模型用于对对应模态的待识别数据进行特征提取， 并 基于特征提取所得的数据特征进 行情绪识别； 所述各个模态的情绪识别模 型是基于所述各 个模态的样本数据的样本数据特征在同一空间内的特征相似度， 和/或， 所述各个模态的样 本数据的预测概 率分布之间的分布相似度， 联合训练得到； 识别结果确定单 元， 用于基于所述各个模态的情绪 概率分布， 确定情绪识别结果。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的情绪识别方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述的情绪识别方法。权　利　要　求　书 2/2 页 3 CN 115376214 A 3