随着我国经济社会和综合国力的不断增强,教育质量能否紧跟时代步伐成了我国能否迈向高台阶的关键因素,而近年来随着我国高校招生规模日益扩大以及娱乐电子产品的普及,高校课堂质量的监管有必要进一步提高。当下,仅仅通过人工查看课堂视频数据和授课教师来监管学生课堂行为已不能满足目前课堂教学的需求,上述方式需要耗费授课教师课堂的精力,操作非常不便而且费时、效率非常低、容易发生漏检、误检等情况,无法实时检测到学生睡觉、玩手机和交流的行为。而将深度学习的技术应用于高校课堂质量的监管具有现实意义。本文主要研究在高校课堂场景下利用视频监控实现对学生异常行为的识别,通过计算机视觉技术来辅助授课老师对学生异常行为的判断。在本论文研究中,将采用软硬件相结合的方式实现高校课堂质量辅助系统的设计。本论文完成的工作主要有:1.从该系统应用场景来说,应具有成本低廉、效率高的特性,因此该系统使用系统移植、ARM Linux应用程序开发,等等嵌入式技术,设计基于TQ2440开发板的设备终端,实现摄像头实时采样。设备终端(摄像头)把采集到的实时图像数据利用x264编码库实现H.264压缩编码后,传输至服务器。服务器主要功能是利用FFmpeg和H.264对接收到的视频数据实时解码,然后进行图像实时识别处理,并对视频数据进行存储等操作。当图像处理模块检测到学生异常行为时,便将图像数据传输至授课教师手机APP终端,并通过弹出消息框的形式实现报警。在本论文研究中,系统服务器中学生和手机目标检测以及学生异常行为识别将是本论文的研究重点。2.系统服务器中图像处理模块的学生和手机目标检测是学生课堂异常行为识别的基础,系统在目标检测的过程中会回归出学生和手机在图像中的位置信息。由于YOLOv3算法对手机等小目标检测具有突出的表现,而且处理图片数据的速度较快,所以用于本设计比较符合。本文的算法设计采用Tensor Flow架构,通过将原始的图片输入训练完毕的YOLOv3网络后经过特征提取得到的学生目标召回率和精确率分别为95.0%和92.3%,手机目标召回率和精确率分别为86.9%和93.5%,整体目标检测的召回率和精确率分别达到90.95%和92.9%。3.学生在课堂的异常行为识别是图像处理模块的最终目的。对于三种异常行为识别采用深度网络和传统手工特征相结合的方式,深度网络主要用于目标检测,传统手工特征主要定义三种异常行为的特点,三个流程同步进行行为识别。对于“课堂玩手机”的行为采用边界框回归的方法,利用非极大值抑制的思想看那个学生的边界框与手机目标的边界框最大面积重合则该学生具有玩手机的行为。对于“课堂睡觉”的行为采用对每个检测到的学生对象利用Haar特征进行人脸检测,若没有检测到人脸则断定该学生具有睡觉行为。对于“上课交流”的行为采用设定阈值的方式,当两个或者两个以上的学生目标的边界框的重叠面积大于设定的阈值,则断定该组学生具有交流行为。实验证明三种行为识别的综合召回率和精准率都大于80%,三种行为的检测速度都在1秒以内,适合系统实时性的要求。4.完整的课堂学生异常行为检测系统除了能够检测出学生课堂异常行为外,还应该具有对应的实时报警功能。该系统的报警模块主要是教师Android手机终端的APP接收到服务器的JSON异常行为数据后将其存入Handler消息队列,然后通过Android内部机制让APP以音效、振动和弹出消息框的形式实现报警。实验证明,当学生有异常行为时APP终端可以实现实时报警的功能。