(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210574055.8 (22)申请日 2022.05.25 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 江文乐　杨洁琼　罗亚明　张楚熠　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 董骁毅　任默闻 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06F 40/30(2020.01) G06F 16/35(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G10L 15/26(2006.01) G10L 25/30(2013.01) G10L 25/63(2013.01) G06Q 30/02(2012.01) (54)发明名称 一种客户满意度预测方法及装置 (57)摘要 本发明提供一种客户满意度预测方法及装 置， 涉及客服技术领域， 可用于金融领域或其他 技术领域。 所述方法包括： 获取服务客户时的音 频流数据和视频帧数据， 并对所述音频流数据进 行本文处理， 得到文本流数据； 对所述音频流数 据、 所述视频帧数据和所述文本流数据分别进行 识别， 得到反映客户情绪的语音情绪基准值、 人 脸情绪基准值和基于文本语义表示的情绪基准 值； 根据所述语音情绪基准值、 所述人脸情绪基 准值、 所述基于文本语义表示的情绪基准值以及 分别对应的权重值， 计算反映客户满意度的满意 度预测值。 所述装置执行上述方法。 本发明实施 例提供的客户满意度预测方法及装置， 能够计算 出客户的服 务满意度， 提高准确度和实时性。 权利要求书2页 说明书12页 附图5页 CN 114998784 A 2022.09.02 CN 114998784 A 1.一种客户满意度预测方法， 其特 征在于， 包括： 获取服务客户时的音频流数据和视频帧数据， 并对所述音频流数据进行本文处理， 得 到文本流数据； 对所述音频流数据、 所述视频帧数据和所述文本流数据分别进行识别， 得到反映客户 情绪的语音情绪基准 值、 人脸情绪基准 值和基于文本语义表示的情绪基准 值； 根据所述语音情绪基准值、 所述人脸情绪基准值、 所述基于文本语义表示的情绪基准 值以及分别对应的权 重值， 计算反映客户满意度的满意度预测值。 2.根据权利要求1所述的客户满意度 预测方法， 其特征在于， 对所述音频流数据进行识 别， 得到反映客户情绪的语音情绪基准 值， 包括： 基于预设语音语调情绪识别算法模型对所述音频流数据进行识别， 得到反映客户情绪 的语音情绪基准 值； 其中， 所述预设语音语调情绪识别算法模型基于语音语调样本数据训练卷积神经网络 得到。 3.根据权利要求1所述的客户满意度 预测方法， 其特征在于， 对所述视频帧数据进行识 别， 得到反映客户情绪的人脸情绪基准 值， 包括： 基于预设人脸表情识别模型对所述视频帧数据进行识别， 得到反映客户情绪的人脸情 绪基准值； 其中， 所述预设人脸表情识别模型基于人脸表情 样本数据训练卷积神经网络得到 。 4.根据权利要求1所述的客户满意度 预测方法， 其特征在于， 对所述文本流数据分别进 行识别， 得到反映客户情绪的基于文本语义表示的情绪基准 值， 包括： 基于预设语义识别及情感识别模型对所述文本流数据分别进行识别， 得到反映客户情 绪的基于文本语义表示的情绪基准 值； 其中， 所述预设语义识别及情感识别模型基于语义及情感样本数据训练卷积神经网络 得到。 5.根据权利要求2所述的客户满意度 预测方法， 其特征在于， 在所述基于预设语音语调 情绪识别算法模型对所述音频流数据进行识别的步骤之前， 所述客户满意度预测方法还包 括： 对所述音频流数据进行切分， 得到各语音片段； 基于所述预设语音语调情绪识别算法模型对所述各语音片段分别进行识别， 得到各语 音语调情绪 值， 对各语音语调情绪 值进行加权计算， 得到反映客户情绪的语音情绪基准 值。 6.根据权利要求4所述的客户满意度 预测方法， 其特征在于， 在所述基于预设语义识别 及情感识别模型对所述文本流数据分别进 行识别的步骤之前， 所述客户满意度预测方法还 包括： 对所述文本流数据进行切分， 得到各文本片段； 基于所述预设语义识别及情感识别模型对所述各文本片段进行识别， 得到与 各词句语 义分别对应的情感分类值， 对各情感分类值进行加权计算， 得到基于文本语义表示的情绪 基准值。 7.根据权利要求1至6任一所述的客户满意度预测方法， 其特征在于， 所述客户满意度 预测方法还 包括：权　利　要　求　书 1/2 页 2 CN 114998784 A 2若确定所述满意度预测值低于预设满意度阈值， 则生成提 示满意度异常的提 示消息。 8.一种客户满意度预测装置， 其特 征在于， 包括： 获取单元， 用于获取服务客户时的音频流数据和视频帧数据， 并对所述音频流数据进 行本文处 理， 得到文本流数据； 识别单元， 用于对所述音频流数据、 所述视频帧数据和所述文本流数据分别进行识别， 得到反映客户情绪的语音情绪基准值、 人脸情绪基准值和基于文本语义表示的情绪基准 值； 计算单元， 用于根据 所述语音情绪基准值、 所述人脸情绪基准值、 所述基于文本语义表 示的情绪基准 值以及分别对应的权 重值， 计算反映客户满意度的满意度预测值。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述 方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114998784 A 3