(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221072412 2.X (22)申请日 2022.06.24 (71)申请人 重庆觉晓科技有限公司 地址 401120 重庆市渝北区回兴街道 宝圣 大道209号西政国际学术交流中心1幢 17-办公21 (72)发明人 刘琛　陈旭阳　顾颃　杨旭川　 (74)专利代理 机构 北京酷爱智慧知识产权代理 有限公司 1 1514 专利代理师 袁克来 (51)Int.Cl. G06N 5/04(2006.01) G06F 40/237(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种基于交互式阅读理解的文本语义推理 方法及系统 (57)摘要 本发明公开一种基于交互式阅读理解的文 本语义推理方法及系统， 包括采集司法领域的文 本， 将其作为语料数据输入通用的RoBerta模型 进行模型预训练， 获得司法领域的预训练模型； 基于人工标注的训练数据调整预训练模型参数， 对调整后的预训练模型及模型各层级之间的知 识进行蒸馏， 获得实时文本智 能推理模型； 将用 户输入的一组文本数据输入所述实时文本智能 推理模型， 预测文本之间的推理关系； 将模型输 出的预测结果实时展现于用户界面。 上述方案采 用知识蒸馏方法， 在保证了模型效果的同时， 大 幅度减小了模 型的参数量， 既保证了预测的准确 性， 也提高了模型的响应 速度。 权利要求书2页 说明书10页 附图1页 CN 115204396 A 2022.10.18 CN 115204396 A 1.一种基于交 互式阅读理解的文本语义推理方法， 其特 征在于， 所述方法包括： 采集司法领域的文本， 将其作 为语料数据输入通用的RoB erta模型进行模型预训练， 获 得司法领域的预训练模型； 基于人工标注的训练数据调整预训练模型参数， 对调整后的预 训练模型及模型 各层级之间的知识进行蒸馏， 获得实时文本智能推理模型； 将用户输入的一组文本数据输入所述实时文本智能推理模型， 预测文本之间的推理关 系； 将模型输出的预测结果实时展现于用户界面。 2.如权利要求1所述的方法， 其特征在于， 所述采集的司法领域的文本， 包括法律文书， 法考题目， 法律， 教材； 所述司法领域的预训练模型为两个 体积不同的RoBer ta预训练模型； 根据所述RoBerta预训练模型 的Transformer层数， 将两个模型分别定义为RoBerta ‑3 模型和RoBerta ‑24模型； 其中， 所述RoBerta ‑3模型中的Transformer层数小于RoBerta ‑24 模型。 3.如权利要求1所述的方法， 其特征在于， 所述对调整后的预训练模型及模型各层级之 间的知识进行蒸馏， 获得实时文本智能推理模型包括： 将所述RoBer ta‑324预训练模型 学习的知识蒸馏到RoBer ta‑3预训练模型 上； 通过对系统日志中的数据进行分析， 获取过滤掉文本长度 大于预设文本长度 上下限或 者语义混乱的脏数据组成的无 标签数据； 利用RoBer ta‑3预训练模型对无 标签数据进行 预测， 得到伪标签； 为所述无标签数据打上伪标签， 通过RoBerta ‑3预训练模型对携带伪标签的数据进行 训练， 生成实时文本智能推理模型。 4.如权利 要求2所述的方法， 其特征在于， 所述预训练模型包括： Roberta  文本编码层、 问题材料交互层、 语义增强层和指针网络预测层； Roberta文本编码层由RoBerta模型构成， Roberta模型由若干个Transformer模块构 成； Transformer模块由若干个MultiHeadAttention模块和FeedForward模块堆叠而成； MultiHeadA ttention模块由多个Self ‑Attention模块组成； 问题材料交互层， 由平行的两个Transformer模块组成， 用于使用两个平行的 Transformer模块针对两个句子分别建模， 使 得每个模型通过Attention机制对文本中包含 的问题和材 料的语义信息进行交 互学习， 获得文本特 征； 所述Transformer模块， 用于学习从文本A到文本B的语义关系， 以及从文本B到文本A的 反向语义关系； 语义增强层， 由MultiHeadAttention模块组成， 用于通过自注意力机制将上一模块学 习的文本特 征进行融合并提取关键 部分， 确定文本中的关键信息区域； 指针网络预测层由两个平行的指针网络组成， 用于使用指针网络分别预测答案所处位 置的开头和结尾； 其中一个指针网络指向文本中关键信息区域的开始， 另一个指针网络指 向关键信息区域的结尾。 5.如权利要求4所述的方法， 其特征在于， 所述对文本 中适用于阅读理解的问题和材料 两种语义信息进行交 互学习， 获得文本特 征包括： 定义问题集合Q＝{q1,q2,...qn}， 材料集合C＝{c1,c2,...cm}， 集合Q和C分别经过文本权　利　要　求　书 1/2 页 2 CN 115204396 A 2编码得到 H∈R2d×T和U∈R2d×J两个矩阵， 分别表示问题语义编码和材 料语义编码； 计算从问题到材料的语义信 息交互学习过程中的注意力分数， 将所述注意力分数加权 后， 得到注意力加权的问题； 经过注 意力加权后的问题与材料的融合， 获得问题信息和材料 信息相结合的文本特 征。 6.如权利要求5所述的方法， 其特征在于， 所述从问题到材料的语义信 息交互学习过程 中的注意力分数通过 下式确定： Stj＝α(Ht,Ui,j) α ＝softmax(St:) 其中， Stj表示问题和材料的相似度矩阵， α表示问题对材料的注意力权重， 表示经过 注意力加权的材料内容； Q表示问题编 码， K和V均表示材料编码， Z为增强后的问题和材料相 结合的编码。 7.如权利要求4所述的方法， 其特征在于， 所述使用指针网络分别预测答案所处于关键 信息区域的开头和结尾位置包括： 计算材料中的每一个字符为正确答案开头和结尾的概率， 将所有字符两两组合， 过滤 掉无效和不 合法的组合后， 在剩余的组合中选取概 率最高的一个组合作为 最终预测结果； 其中， 所述无效和不合法的组合包括： 结尾的位置超出预定义的最大预测长度、 开头位 置超出预定义的最大 预测长度、 结尾位置小于开头位置的情况。 8.如权利要求7所述的方法， 其特征在于， 通过下式确定材料中的每一个字符作为正确 答案开头和结尾的概 率： 其中， ps和pe分别表示某个字符为 正确答案开头和结尾的概 率。 9.如权利要求1所述的方法， 其特 征在于， 所述 通过下式训练通用的RoBer ta模型： 其中， L表示 通用的RoBer ta模型训练的损失， θ表示模型 学习的参数， ni表示第i个词。 10.一种基于交 互式阅读理解的文本语义推理系统， 其特 征在于， 所述系统包括： 模型训练模块， 用于采集司法领域的文本， 将其作为语料数据输入通用的RoB erta模型 进行模型预训练， 获得司法领域的预训练模型； 基于人工标注的训练数据调整预训练模型 参数， 对调整后的预训练模型及模型各层级之间的知识进行蒸馏， 获得实时文本智能推理 模型； 语义推理模块， 用于将用户输入的一组文本数据输入所述实时文本智能推理模型， 预 测文本之间的推理关系； 结果展示模块， 用于将模型输出的预测结果实时展现于用户界面。权　利　要　求　书 2/2 页 3 CN 115204396 A 3