(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210687560.3 (22)申请日 2022.06.17 (71)申请人 瀚云瑞科技 （北京） 有限公司 地址 100000 北京市海淀区西四环北路158 号1幢七层279号 (72)发明人 虞忠诚　 (74)专利代理 机构 北京世誉鑫诚专利代理有限 公司 11368 专利代理师 郭官厚 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/117(2020.01) G06F 40/194(2020.01) G06F 40/211(2020.01)G06F 40/232(2020.01) G06F 40/253(2020.01) G06F 40/30(2020.01) G06N 3/08(2006.01) G06Q 50/20(2012.01) (54)发明名称 一种基于NLP的试卷文本自动化批改方法及 系统 (57)摘要 本发明提供的一种基于NLP的试卷文本自动 化批改方法及系统， 批改方法包括： 用户进入考 试平台， 选择试卷考试并进行考试作答； 作答完 毕， 提交作答试卷； 对所述作答试卷的客观题直 接判分， 获得客观题得分； 对所述作答试卷的主 观题采用NLP分析方法， 并计算与参考答案的文 本相似度， 判定得分， 获得主观题得分； 根据所述 客观题得分和所述主观题得分计算用户的考试 得分。 通过分词、 文本向量化、 聚类、 文本相似度 等技术量化评估作答内容与参考答案的一致程 度， 自动输出作答结果分数， 提高线上考试判卷 效率。 权利要求书2页 说明书5页 附图1页 CN 115080690 A 2022.09.20 CN 115080690 A 1.一种基于N LP的试卷文本自动化批改方法， 其特 征在于， 所述批改方法包括： 用户进入考试平台， 选择 试卷考试并进行考试作答； 作答完毕， 提交作答试 卷； 对所述作答试 卷的客观 题直接判分， 获得客观 题得分； 对所述作答试卷的主观题采用NLP分析方法， 并计算与参考答案的文本相似度， 判定得 分， 获得主观 题得分； 根据所述 客观题得分和所述主观 题得分计算用户的考试 得分。 2.根据权利要求1所述的一种基于NLP的试卷文本自动化批改方法， 其特征在于， 所述 批改方法还 包括： 统计并生成考试报告， 并反馈给用户， 所述考试报告包括考试总分、 排名、 知识掌握程 度、 提升建议。 3.根据权利要求1所述的一种基于NLP的试卷文本自动化批改方法， 其特征在于， 所述 对所述作答试卷的主观题采用NLP分析方法， 并计算与参考答案的文本相 似度， 判定得分， 获得主观 题得分之后还 包括： 对所述作答试 卷进行质检， 包括： 检查空白题、 乱写内容、 疑似抄袭题干和疑似抄袭； 以预训练语言模型为基础， 结合少量标注数据和大规模自动构建的伪数据， 进行错别 字、 语法以及标点、 专业 术语多类型的错 误识别。 4.根据权利要求3所述的一种基于NLP的试卷文本自动化批改方法， 其特征在于， 所述 对所述作答试 卷进行质检包括： 在神经网络模型上加入了隐藏层， 隐藏层有多层， 增强模型的表达能力， 输出层的多个 神经元， 适用基于句子上 下文， 计算纠错 候选的语言模型概 率； 分析句子的语法结构并表示为容易理解的结构， 包括句法结构分析， 依存关系分析； 深 层文法句法分析， 对句子进行深层的句法以及语义分析； 利用PaddlePaddle实现的ERNIE预训练模型， 基于MASK掩码的特征， 实现错误检测、 错 误纠正。 5.根据权利要求3所述的一种基于NLP的试卷文本自动化批改方法， 其特征在于， 所述 对所述作答试卷的主观题采用NLP分析方法， 并计算与参考答案的文本相 似度， 判定得分， 获得主观 题得分具体包括： 基于结构化实体结构， 采用文本答案切分、 数值答案批改、 评分标准匹配等对学生做大 进行得分判定， 应用NLP技术实现智能文本处理能力， 包括智能分词、 词 性标注、 实体识别、 文本纠错、 情感分析、 文本分类、 关键词提取、 文档摘要， 全方位覆盖从词、 句到篇章级别的 语义和结构分析任务； 将题干内容从自然语言翻译成形式化的语言； 根据当前 所有条件， 获取 所需要的知识元信息； 知识元是定义的最小细分的知识点， 一个知识元 是对应知识点的定义和特 征的总和； 将当前所有条件综合到一 起， 当做初始状态； 根据当前 所有所述知识元的特性进行步骤推导， 获得新的条件， 进 而状态不断变化； 将推导的过程翻译成标准 解题步骤， 同时从几个不同维度输出关键信息 。 6.根据权利要求1所述的一种基于NLP的试卷文本自动化批改方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115080690 A 2批改方法还 包括： 人工阅卷质检 检查， 为采用机器评分检测 和检测人工阅卷 过程中出现的误差； 在整个自动化评分过程中， 系统自动将异常作答结果推送给相关人员进行复核， 如果 疑似作弊； 同时， 对于批改结果， 也随机抽取作答推送给相关人员进行人工复核， 根据人工 评分结果衡量整体批改的效度， 进行算法优化。 7.一种基于N LP的试卷文本自动化批改系统， 其特 征在于， 所述批改系统包括： 考试作答模块， 用于用户进入考试平台， 选择 试卷考试并进行考试作答； 作答试卷提交模块， 用于作答完毕， 提交作答试 卷； 客观题判分模块， 用于对所述作答试 卷的客观 题直接判分， 获得客观 题得分； 主观题判分模块， 用于对所述作答试卷的主观题采用NLP分析方法， 并计算与参考答案 的文本相似度， 判定得分， 获得主观 题得分； 考试得分计算模块， 用于根据所述客观题得分和所述主观题得分计算用户的考试得 分。权　利　要　求　书 2/2 页 3 CN 115080690 A 3