论文部分内容阅读
在大力发展“互联网+”教育的背景下,在线教育逐渐走入大众视野,这种教育模式改变了传统的的课堂教学模式,打破了教学的空间和时间的限制壁垒,可以解放教师,培养学生自主学习能力,丰富教育资源。但是同时也带了一定的弊端,在线教育的师生时空分离导致学生课堂情感分析缺失的问题,教师无法实时与学生交互,无法及时获取学生的认知状态、课堂专注度以及课堂效果。所以在线课堂中学生的情感状态获取、如何改善等问题是当前亟待解决的,并且在情感状态中学生的专注度更是首要需要关注的重点,这直接代表了学生对课程的投入程度,对于实时反馈和课程评价都有着重要的意义。在线教育当中的情绪识别主要目的是实时对学习者的状态进行监控并进行反馈,但是人脸面部的动作表示是融合复杂且多变的,专注力识别有很大的难度。本文旨在通过深度学习网络对在线课堂中学生的表现进行评价,包括人脸检测、表情识别,研究学生课堂状态的划分以及专注力判断,并设计实现了基于视频内容的学生课堂专注力判断系统,对教学过程中学生的状态进行跟踪识别、反馈,以及课堂评价。主要研究内容如下:首先,对数据库的构建流程进行学习,制定详细的表情数据库构建方案,并基于该方案制成了以在线课堂为情境下的学生疲劳表情数据集。以学生群体为被测试对象,区别于现有的成人表情数据集,并且数据专注于疲劳表情收集,可以更好的迁移应用在课堂情感分析模型当中。其次,研究人脸检测与表情识别相关理论,通过对表情数据的分析,在表情识别过程采用MTCNN网络进行人脸检测,并对眼部嘴部特征点进行提取,然后通过对比实现几种典型的表情识别算法,采用CNN+RNN网络实现完整的疲劳表情检测模型。再次,本文将学生的课堂状态划分,设计一种多维度的课堂状态评价体系,实现课堂专注度的划分(正常、疲劳、离开),并设计实现了基于视频内容的学生专注力识别判断系统。该系统融合了人脸检测与疲劳检测模型进行学生行为判断,并且通过调整获取图像速度、加入语音等方式提高算法实时性。最后,可在实验室环境下录制多名学习者在进行在线课程学习时的表情数据,验证系统的可行性。通过测试表明该方法可以较好的识别表情类别,满足在线教育的要求。