论文部分内容阅读
在课堂中提升并保持学生的专注度,可以有效地提高课堂教学质量并帮助学生课后复习与理解,因此及时分析和统计学生的课堂表现是很有必要的。本文设计并实现了基于表情识别的课堂专注度分析系统,将拍摄得到的课堂真实图像通过人脸检测和人脸识别方法完成课堂考勤的统计,结合表情识别方法对学生的专注度情况进行分析,最后将数据可视化推送给学生和家长,可以有效提高教学质量。但是课堂中前后排学生的距离和人数较多等不可抗因素,使得图像中的学生人脸大致表现为前排人脸较清晰,而后排学生人脸尺寸较小,而且遮挡问题也对学生的人脸检测和之后专注度分析带来了困难。针对上述问题,本文研究了基于深度学习的人脸检测和表情识别方法,详细介绍了卷积神经网络的原理和基础模块,列举了当前人脸检测和表情识别方法中存在的问题和不足,分析了影响小脸检测的原因和模型压缩的必要性,提出了一种基于卷积神经网络的多尺寸人脸检测方法和轻量级卷积神经网络的表情识别方法。本文的主要工作如下:1.卷积神经网络中浅层特征图中局部感受野较小有助于定位,但缺乏全局特征,而高层次的特征具有丰富的语义信息,但特征图分辨率较低不利于小目标的检测。针对上述人脸检测问题,本文首先提取ResNet101基础网络中不同层输出的特征,自顶向下使用反卷积将高层特征图的分辨率放大,并与其相邻的低层特征侧边连接,得到融合后的有丰富语义信息和空间细节的特征图,主要解决了只使用最高层特征图的人脸检测方法忽略低层空间定位信息的问题。提出通道注意力和空间注意力共同作用的混合注意力机制,加强关键特征通道和特征图区域的表达,同时弱化无关信息的干扰。通过在WIDER FACE数据集进行对比实验,实验结果验证了本文方法对小脸检测的有效性。2.卷积神经网络的层数加深,使得模型参数量不断增加,会造成额外的计算成本和耗费,甚至导致过拟合及网络退化现象的现象。为了降低冗余参数量,本文提出了轻量级卷积神经网络对现有的神经网络进行压缩。使用3 × 3的深度可分离卷积模块和连续非对称卷积改进Inception结构,并引入残差网络实现跨层连接。有效降低了神经元之间连接的复杂度,加宽了网络并获得了不同尺度的特征。本文使用中心损失函数和softmax损失函数缩小了类间距离。使用基于生成对抗网络的SRGAN方法放大FER2013训练集整的图像,提高模型的准确率。在FER2013数据集中进行了对比实验,最后的混淆矩阵和实验结果验证了本文方法在表情识别上的提高。3.本文基于上述人脸检测和表情识别算法,设计了基于表情识别的课堂专注度分析系统,实现课堂图像的实时采集和处理,使用人脸检测和人脸识别方法完成学生课堂考勤记录,并结合人脸检测和表情识别从学生的面朝黑板的人脸完整度及面部表情分析学生的专注度,对学生的课堂数据可视化展示,为师生及家长提供了更多的数据支持和帮助。