近年来随着手机、平板电脑等设备在人们生活中地不断普及,大学课堂中学生上课的注意力不断被这些智能终端所吸引,导致大学课堂中出现大量低头族,学生上课听讲效率低下,提高大学课堂质量成为了学校非常关注的一个问题,因此能够监测课堂里学生上课听讲状态的系统对学校评估和提高教学质量将会有非常大的帮助。本文针对现有高校大量教室的场景,采用高清摄像头拍摄课堂教室视频,并将数据实时传输给后台系统进行算法的智能分析。本文提出的方案主要基于上课学生的人脸信息,采用人脸检测算法提取到学生的位置信息,并通过卷积神经网络进一步分析学生抬头听课状态,同时基于多帧人脸位置信息的融合,动态计算出课堂中的上课人数,以此统计出每个时刻课堂的抬头率数据。本文针对大学课堂场景,专门组建了学生抬头状态识别的HeadState数据集,用于训练并测试算法的准确性,同时专门组建了课堂学生抬头检测ClassHead数据集,用于测试算法的准确性。本文实现的人脸检测算法在FDDB数据集上取得了92.9%的召回率,采用HeadState训练集训练得到的卷积神经网络模型在测试集上取得了92.3%的平均准确率,同时基于多帧人脸位置信息融合而设计的课堂人数统计算法,统计得到的人数与教室真实人数误差在10%以内。基于上述算法,系统在ClassHead数据集上取得了召回率92.3%的条件下94.6%的准确率。此外本文对于多路视频处理的需求,专门针对Caffe框架优化了其内存占用,在Faster-RCNN测试网络上减少了网络模型67%的内存占用,使得系统在单个GPU设备下可以处理更多的教室视频数据,减少系统部署的成本。