(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765094.6 (22)申请日 2022.07.01 (71)申请人 北京师范大学 地址 100875 北京市海淀区新 街口外大街 19号 (72)发明人 孙波　何珺　张迎辉　李航　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 韩迎之 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于有监督对比学习的问题可持续性 评价系统 (57)摘要 本发明公开了一种基于有监督对比学习的 问题可持续性评价系统， 应用于自然语 言处理技 术领域， 包括： 初步特征提取模块、 主要计算模 块、 对话者特征提取模块、 特征融合模块、 线 性分 类层、 优化模块， 通过分析背景文本和对话文本 的关系， 提取文本特征得到评价结果， 本系统将 问题可继续性评价任务作为独立任务， 引入有监 督对比学习方法对系统进行优化， 能够更好地区 分相似样本， 不再需要使用其他方法(如数据增 强等)构造正样本， 一定程度上解决了自然语言 数据构造正样本困难的问题； 能够很好地提取文 本的意义和文本间的关系特征， 性能优越， 对数 据缺乏的情况有很好的鲁棒 性。 权利要求书2页 说明书5页 附图2页 CN 115129844 A 2022.09.30 CN 115129844 A 1.一种基于有监督对比学习的问题可持续性评价系统， 其特征在于， 包括： 初步特征提 取模块、 主 要计算模块、 对话 者特征提取模块、 特 征融合模块、 线性分类层； 所述初步特征提取模块提取文本特征得到背景文本特征矩阵和多个第一对话文本特 征矩阵； 所述主要计算模块将第一对话文本特 征矩阵转 化为问题特 征矩阵和回答特 征矩阵； 所述对话者特征提取模块基于所述问题特征矩阵和回答特征矩阵提取文本特征， 得到 第三对话文本特 征矩阵； 所述特征融合模块融合背景文本特征矩阵和第 三对话文本特征矩阵， 得到综合特征矩 阵； 所述线性分类层基于综合特 征矩阵输出评价结果。 2.根据权利要求1所述的一种基于有监督对比学习的问题可持续性评价系统， 其特征 在于， 所述初步特 征提取模块包括第一编码器、 XL Net单元和线性降维层； 所述第一编码器提取文本特征得到背景文本特征向量关系和对话文本特征向量关系， 所述XLNet单元基于所述背 景文本特征向量关系和对话文本特征向量关系输出背 景文本特 征矩阵和多个第一对话文本特征矩阵， 所述线性降维层将所述背 景文本特征矩阵降维输出 至所述特 征融合模块， 将所述多个第一对话文本特 征矩阵降维输出至所述主 要计算模块。 3.根据权利要求1所述的一种基于有监督对比学习的问题可持续性评价系统， 其特征 在于， 所述主 要计算模块包括加权求和单 元和第二编码器； 所述加权求和单元将第 一对话文本特征矩阵中的特征向量加权求和， 得到对话文本特 征向量， 多个所述对话文本特征向量组成第二对话文本特征矩阵； 所述第二编码器将第二 对话文本特 征矩阵分为问题特 征矩阵和回答特 征矩阵并输出至对话 者特征提取模块。 4.根据权利要求1所述的一种基于有监督对比学习的问题可持续性评价系统， 其特征 在于， 所述对话者特征提取模块包括问题特征提取单元、 回答特征提取单元和特征融合单 元； 所述问题特征提取单元基于问题特征矩阵提取特征信 息得到第 二问题特征矩阵， 所述 回答特征提取单元基于回答特征矩阵提取特征信息得到第二回答特征矩阵， 所述特征融合 单元将所述第二问题特 征矩阵和所述第二回答特 征矩阵融合 为第三对话文本特 征矩阵。 5.根据权利要求4所述的一种基于有监督对比学习的问题可持续性评价系统， 其特征 在于： 所述问题特征提取单元包括第三编码器、 第一LSTM单元以及第一次级特征融合单元； 所述第三编 码器基于问题特征矩阵提取长距离依赖和语义信息得到语义问题特征矩阵， 所 述第一LSTM单元基于问题特征矩阵提取顺序信息得到顺序问题特征矩阵， 所述第一次级 特 征融合单 元将所述语义问题特 征矩阵和顺序问题特 征矩阵融合 为第二问题特 征矩阵； 所述回答特征提取单元包括第四编码器、 第二LSTM单元以及第二次级特征融合单元； 所述第四编 码器基于回答特征矩阵提取长距离依赖和语义信息得到语义回答特征矩阵， 所 述第二LSTM单元基于回答特征矩阵提取顺序信息得到顺序回答特征矩阵， 所述二次级 特征 融合单元将所述语义回答特 征矩阵和顺序回答特 征矩阵融合 为第二回答特 征矩阵。 6.根据权利要求1所述的一种基于有监督对比学习的问题可持续性评价系统， 其特征 在于， 还包括优化模块， 所述优化模块基于有监督对比学习方法对系统进 行优化， 降低对比权　利　要　求　书 1/2 页 2 CN 115129844 A 2损失， 对比损失函数为： 式中， L为对比损失， i为当前用于系统训练的样本， I为系统训练样本集合， p为与样本i 具有相同类别标签的样 本， P(i)为所有样 本p的集合， a为I中除样 本i外的样 本， A(i)是除样 本i外所有样本的集合， zi、 zp和za分别代表样本i、 p和a的特征向量， τ为用于控制对比学习 强度的超参数。 7.根据权利要求1 ‑6任一项所述的一种基于有监督对比学习的问题可持续性评价系 统， 其特征在于， 所述特征融合模块、 特征融合单元、 第一次级特征融合单元以及第二次级 特征融合单 元具体为： WA＝AW1+b1 WB＝BW2+b2 W＝softmax([WA； WB]) F＝W[0]WA+W[1]WB 式中， A,B∈Rn×d为进行融合的两个特征矩阵， n为特征矩阵的长度， d为特征矩阵的维 度， W1,W2∈Rd×1和b1,b2∈Rn×1为可学习的参数， [WA； WB]∈Rd×2表示WA和WB的拼接， WA表示矩阵 A的非归一化融合权重， WB表示矩阵B的非归一化融合权重， W表示经归一化的融合权重， F表 示融合后的矩阵， W[0]表示W的第0列， 即矩阵A的融合权重， W[1]表示W的第1列， 即矩阵B的 融合权重。权　利　要　求　书 2/2 页 3 CN 115129844 A 3