(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210838610.3 (22)申请日 2022.07.18 (65)同一申请的已公布的文献号 申请公布号 CN 115019374 A (43)申请公布日 2022.09.06 (73)专利权人 北京师范大学 地址 100875 北京市海淀区新 街口外大街 19号 (72)发明人 吴昊　郭俊奇　 (74)专利代理 机构 成都鱼爪智云知识产权代理 有限公司 513 08 专利代理师 何涛 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 110363084 A,2019.10.2 2 CN 110175501 A,2019.08.27 CN 10791875 5 A,2018.04.17 US 2021090 608 A1,2021.0 3.25 CN 110135380 A,2019.08.16 WO 2021017261 A1,2021.02.04 WO 2020029406 A1,2020.02.13 US 2019080148 A1,2019.0 3.14 宋定宇.多 级FFD融合超分辨 率重建的视频 人脸识别. 《激光杂志》 .2014,(第12期),第34- 39 页. 左国才等.基 于CNN人脸识别模型的大 学生 课堂行为分析研究. 《智能计算机与应用》 .2019, (第06期),第1 14-117页. (续) 审查员 潘佩琳 (54)发明名称 基于人工智能的智慧课堂学生专注度低耗 检测方法及系统 (57)摘要 本发明公开了一种基于人工智能的智慧课 堂学生专注度低耗检测方法及系统， 涉及数据处 理技术领域。 该方法包括： 获取对应的关键帧图 像； 筛选得到核心关键帧图像； 得到核心优化关 键帧图像； 得到基于SV M模型的专注度检测模型； 计算有效人脸图像与人脸专注度正样本、 人脸专 注度负样本的相似度， 生成相似度判定结果； 生 成有效人脸图像对应的学生的专注度检测结果 或对应的未识别结果； 根据未识别结果将对应的 有效人脸图像导入至基于SV M模型的专注度检测 模型， 生成对应的学生的专注度检测结果。 本发 明将复杂的视频处理转换为图像处理， 采用低耗 的简易模型实现对智慧课堂学生专注度的精准检测， 保证检测精度的同时大大降低了资源消 耗。 [转续页] 权利要求书3页 说明书9页 附图5页 CN 115019374 B 2022.10.11 CN 115019374 B (56)对比文件 廖鹏等.基于深度学习的学生课 堂异常行为 检测与分析系统. 《电子 世界》 .2018,(第08 期), 第99-100页. 谭斌等.基 于Faster R- CNN的学生课 堂行为 检测算法研究. 《现代计算机(专业版)》 .2018, (第33期),第47-49页. 陆要要.基于超分辨 率重建的低质量视频人 脸识别方法. 《计算机科 学》 .2021, Antonie J. Smith.CN Ns and Transfer Learning for Lecture Venue Oc cupancy and Student A ttention Monitoring. 《Internati onal Symposium o n Visual Computing （ISVC 2019） ： Advances i n Visual Computing》 .2019, 刘鑫.基于深度学习的低质视频人脸增强识 别方法. 《电脑知识与技 术》 .2021, Can Liu.An On line Classroom Atmosphere As sessment System for Evaluati ng teaching Quality. 《 《2018 IE EE Internati onal Conference of Safety Produce I nformatizati on （IICSPI） 》 》 .2019, Andreea Coaja.Quantifyi ng Student Attention using Convolutional Neural Networks. 《Proce edings of the 14th Internati onal Conference o n Agents and Artificial I ntelligence-Vo lume 3： ICAART》 .202 2,2/2 页 2[接上页] CN 115019374 B1.一种基于人工智能的智慧课堂学生专注度低耗检测方法， 其特征在于， 包括以下步 骤： 获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测， 以得到对应的 关键帧图像； 选取基准人脸图像， 并利用多尺度的基准人脸匹配方法将基准人脸图像与 各个关键帧 图像进行匹配， 筛 选得到核心关键帧图像； 对任意一个核心关键帧图像进行图像超分辨率重建， 并利用图像增强方法对重建后的 图像进行优化， 以得到核心优化关键帧图像； 选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练， 以得 到基于SVM模型的专 注度检测模型； 利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人 脸图像与人脸专 注度正样本、 人脸专 注度负样本的相似度， 生成对应的相似度判定结果； 根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注 度检测结果或对应的未识别结果； 根据未识别结果将对应的核心优化关键帧图像 中的有效人脸图像导入至基于SVM模型 的专注度检测模型中进行检测分析， 以生成对应的核心优化关键帧图像中对应的学生的专 注度检测结果。 2.根据权利要求1所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法， 其 特征在于， 所述利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进 行匹 配， 筛选得到核心关键帧图像的方法包括以下步骤： 分别将基准人脸图像和关键帧图像进行多尺度重建， 以得到多个尺度 下的基准人脸图 像和关键帧图像； 分别在各个尺度 下将对应的基准人脸图像和关键帧图像进行匹配， 生成多个尺度 下的 匹配结果； 统计并根据所有尺度下的匹配结果对关键帧图像进行筛 选， 以得到核心关键帧图像。 3.根据权利要求1所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法， 其 特征在于， 所述人脸专注度正样本包括显著正样本和普通正样本， 所述人脸专注度负样本 包括显著负 样本和普通负 样本。 4.根据权利要求3所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法， 其 特征在于， 所述显著 正样本和显著负样本的数量分别至少为普通正样本和普通负样本的数 量的两倍。 5.根据权利要求3所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法， 其 特征在于， 所述利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中 的有效人脸图像与人脸专 注度正样本、 人脸专 注度负样本的相似度的方法包括以下步骤： 利用平滑卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进 行处理， 分别得到该有效人脸区域和显著正样本的平滑处理结果； 分别对该有效人脸区域 和显著正样本的平滑处理结果进 行自编码， 并利用欧式距离计算该有效人脸区域和显著 正 样本的相似度， 得到第一相似度结果； 利用去噪卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进权　利　要　求　书 1/3 页 2 CN 115019374 B 3