在疫情期间,由于学员隔离在家,线上学习和在线教育成为了教学活动的主流。这很好地缓解了疫情期间的教学危机,由于是线上教学,传统的教师监督很难发挥作用。学员是否一直在线、是否认真听讲、是否领会、是否有困惑等信息无法及时反馈,这成为在线教学效果评估的瓶颈。本文旨在应用深度学习技术为在线教学效果评估提供一套有效的视觉检测和识别系统,本文的研究内容如下:（1）针对学员的移动以及人脸的偏转,MTCNN（Multi-task convolutional neural network）网络结构复杂,计算量大对视频人脸检测的准确性和实时性带来巨大影响的问题。文章提出了一种联合粒子滤波与MTCNN的快速人脸检测方法,将粒子滤波作为MTCNN算法的前置算法,为MTCNN网络推荐预选框,减少MTCNN的冗余计算。并针对粒子滤波中出现的粒子多样性降低问题,提出了分区随机粒子优化重采样方法。（2）本文通过人脸识别对学员进行身份认证,采用基于子空间的人脸识别方法,对检测到的人脸使用局部二值模式提取人脸局部特征,再通过主成分分析处理,获取降维后的特征向量,再与数据库中的人脸向量进行匹配得到身份。（3）本文将学员头部姿势作为一种辅助判据来判断学员的精神状态,采用基于SVM的头部姿态估计方法,首先通过人脸检测算法提取人脸关键点位置,通过关键点位置获取欧拉角角度值,再使用SVM进行姿态分类。（4）针对人脸表情识别任务中如何降低表情无关的面部特征的影响,本文提出了一种基于生成式网络的表情图像增强方法,构建一种DLGAN（Disentanglement Learning GAN）网络。并且为提高DLGAN对表情细节的学习能力,本文将自注意力模块引入了DLGAN的结构中。针对表情持续时间短,动作幅度小,样本数量少造成的识别精度难以提高的问题,为丰富特征输入,提出一种基于双流神经网络的表情识别算法。（5）基于本文的人脸检测、人脸识别、头部姿态估计、表情识别等计算机视觉技术,搭建了面向在线教学效果评估的头部姿态及表情识别系统,在线分析学员的情绪状态;对学员上网课时的头部姿态进行估计;检测学员睁眼闭眼,打哈欠等行为。最后根据所有检测结果给出学员状态的综合评价结果。