(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210819287.5 (22)申请日 2022.07.13 (65)同一申请的已公布的文献号 申请公布号 CN 114898449 A (43)申请公布日 2022.08.12 (73)专利权人 电子科技大 学成都学院 地址 611731 四川省成 都市高新西区百叶 路1号 (72)发明人 任雪花　杨政　李游　 (74)专利代理 机构 北京驰纳南熙知识产权代理 有限公司 1 1999 专利代理师 李佳佳 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/74(2022.01) G06Q 50/20(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113657168 A,2021.1 1.16 CN 112418034 A,2021.02.26 CN 113239839 A,2021.08.10 US 2020175264 A1,2020.0 6.04 王艳玲. 《基 于人脸识别的课 堂教学监控系 统分析》 . 《电子测试》 .2021,(第02期),第121- 122页. 李希 等. 《移动学习视阈下的手 机与英语词 汇习得应用》 . 《乐 山师范学院学报》 .2015,第3 0 卷(第07期),第1 11-116页. 审查员 曾贞 (54)发明名称 一种基于大数据的外语教学辅助方法及装 置 (57)摘要 本发明涉及一种基于大数据的外语教学辅 助方法及装置， 包括以下步骤： 实时采集外语教 学下学员面部图像,并对采集的学员面部图像进 行同化处理； 以同化处理后的学员面部图像做为 卷积神经网络的输入源， 通过卷积神经网络对学 员进行情绪识别； 通过大数据对外语教学方式进 行分类并汇总， 生成外语教学数据库； 根据学员 的情绪识别结果， 对教师进行提醒， 并在外语教 学数据库内为教师匹配教学方式。 本发明能够根 据采集的学员图像判断学员的情绪状态， 且能够 根据学员的情绪状态及时帮助教师调整教学方 式， 能够辅助教师实时了解学员的学习情绪， 改 正教师教学中不良的负面影 响， 能够帮助教师及 时调节学员的学习积极性， 能够提高教师在外语 教学中的教学质量。 权利要求书2页 说明书8页 附图3页 CN 114898449 B 2022.10.04 CN 114898449 B 1.一种基于大 数据的外语教学辅助方法， 其特 征在于： 包括以下步骤： 实时采集外语教学下学员面部 图像,并对采集的学员面部 图像进行同化处理； 对所述 采集的学员面部图像进行同化处 理包括： 设置采集时间窗口T并设定采集时间t； 设置相似度阈值D， 计算采 集时间窗口T内ti时刻获取的学员面部图像与ti+1时刻获取的 学员面部图像之间的相似度D （ti～ti+1） ； 根据相似度阈值D判断每个采集 时间t下获取的学员面部图像是否删除或保留； 所述根 据相似度阈值D判断每个采集时间t下获取的学员面部图像是否删除或保留包括： 若D （ti～ ti+1） 小于D， 则保留ti时刻和ti+1时刻获取的学员面部图像； 若D （ti～ti+1） 大于D， 则计算ti+1 时刻获取的学员面部图像与ti+2时刻获取的学员面部图像之间的相似度D （ti+1～ti+2） ， 若D （ti+1～ti+2） 小于D， 则删除ti时刻获取的学员面部图像； 若D （ti+1～ti+2） 大于D， 则删除ti+1时 刻获取的学员面部图像； 对采集时间窗口T内所剩余的学员图像进行 预处理， 以满足卷积神经网络的输入条件； 以同化处理后的学员面部图像做为卷积神经网络的输入源， 通过卷积神经网络对学员 进行情绪识别； 通过大数据对外语教学 方式进行分类并汇总， 生成外语教学 数据库； 根据学员的情绪识别结果， 对教师进行提醒， 并在外语教学数据库内为教师匹配教学 方式； 在所述实时采集外语教学下学员面部图像,并对采集的学员面部图像进行同化处理之 前， 还包括： 通过TFLearn构建卷积神经网络； 所述卷积神经网络包括： 输入层， 用于训练数据的输入， 并为隐含层提供训练数据； 通过sigmoid函数对输出层 的输入进行映射， 映射至情绪权值区间， 以得到预测的情绪权值， 所述输出层公式为： ， 其中Output和input分别为输出 层的输出与输入， maxW和mi nW分别为情绪权值的上限和下限； 隐含层， 用于对输入数据进行特征提取； 所述隐含层包括多层卷积层和多层池化层， 多 层所述卷积层与多层所述池化层 间隔设置， 且所述卷积层设置于所述池化层之前； 所述卷 积层用于进 行卷积运算， 并提取图片特征； 所述池化层用于进 行聚合统计， 并对图片特征进 行映射， 所述隐含层还包括dr opout层和全 连接层， 所述dropout层设置于所述池化层之后， 所述全连接层设置 于所述dropout层之后， 所述全连接层设置有两层； 输出层， 用于对结果的输出， 并根据训练数据分类标签的维度调整神经 元个数； 通过大数据获取人脸表情图像并筛选， 生成训练数据集， 以作为卷积神经网络的训练 输入源； 对生成的训练数据集进行 预处理， 以提高对卷积神经网络的训练准确度； 对预处理后的训练数据集进行手工标注， 标定情绪权值； 通过随机梯度下降法进行卷 积神经网络中情绪权值的训练， 以加快卷积神经网络的训练速度， 随机梯度下降法对应的权　利　要　求　书 1/2 页 2 CN 114898449 B 2情绪权值更新公式为： ， 其中， 为情绪权值， 为学习速度参数， 为梯度。 2.根据权利要求1所述的基于大数据的外语教学辅助方法， 其特征在于： 对生成的训练 数据集进行 预处理中包括： 对图像中人脸区域进行识别并提取 人脸区域； 对提取人脸区域后的图像进行图片缩放； 将缩放后的模糊图片进行去除， 以提升训练数据集的整体图像清晰度； 在模糊图片去除后， 对数据集中剩余图片添加高斯噪声。 3.根据权利要求2所述的基于大数据的外语教学辅助方法， 其特征在于： 将缩放后的模 糊图片进行去除包括： 通过拉普拉斯梯度函数衡量图片中连续像素之间的变化快慢， 并设置 定值Pr； 若图片的拉普拉斯 算子方差小于Pr， 则该图片为低清晰度图片， 进行去除； 若图片的拉普拉斯 算子方差大于Pr， 则该图片为高清晰度图片， 进行保留。 4.根据权利要求3所述的基于大数据的外语教学辅助方法， 其特征在于： 所述以同化处 理后的学员面部图像做为卷积神经网络的输入源， 通过卷积神经网络对学员进行情绪识别 包括： 以同化后学员面部图像集作为卷积神经网络的输入， 依次输出每张面部图像的情绪权 值； 通过映射公式 ， 对每张面部图像 的情绪权值在学习分数区间[0,1]上进行映射， 得到每张面部图像的学习情绪分数， 其中， weight为输出的面部图像的情绪权值， maxW和minW为情绪权值的上限和下限， maxS和minS 为情绪分数的上限和下限； 计算同化后学员的面部图像集的平均学习情绪分数， 若大于0.5， 则判断学员的情绪状 态为积极学习状态， 若 小于0.5则判断学员为消极学习状态。 5.根据权利要求4所述的基于大数据的外语教学辅助方法， 其特征在于： 所述外语教学 数据库包括正向引导数据集和负向引导数据集， 所述正向引导数据集和所述负向引导数据 集内的外语教学 方式均设置有引导分数。 6.根据权利要求5所述的基于大数据的外语教学辅助方法， 其特征在于： 所述为教师匹 配教学方式包括： 获取学员在当前教学 方式下的积极学习状态或消极学习状态： 根据所述积极学习状态或消极学习状态， 在外语教学数据库匹配对应的外语教学方 式； 若为积极学习状态， 则正常教学； 若为消极学习状态， 则对教师进行提醒， 并计算正向引导数据集内所有教学方式所对 应的引导分值与学员的学习情绪分数之差， 选取教学方式所对应的引导分值与学员的学习 情绪分数之差为0.5的教学 方式为教师匹配。权　利　要　求　书 2/2 页 3 CN 114898449 B 3