论文部分内容阅读
近年来,学生的学习积极性低,上课迟到、早退、睡觉、玩手机甚至旷课等情况普遍发生。如何科学地提升学生上课状态,对全面提高教学质量具有重要的意义。基于深度学习的课堂执守系统,通过姿态识别提供了课上和课下的课堂帮助,以更为准确的了解学生上课状态,以促进提高教学的效果。本文采用深度学习算法对视频中的上课学生姿态行为进行实时性的目标检测,并将深度学习模型部署到应用网站平台中,以完成web端的课堂执守系统设计。考虑到视频检测的实时性,而现有的目标检测算法参数量过大,利用web端运算能力有限,本文采用速度更快的SSD目标检测算法,并结合轻量化模型Mobilenet V1网络,以实现实时检测的目的。同时,为系统搭建了离线视频检测模块,采用高精度的深度学习模型Faster R-CNN模型。最终本文利用tensorflow深度学习框架上实现算法进行训练,并将训练得到的模型部署到.net搭建的课堂执守平台上。该过程包括利用浙江农林大学教室监控视频进行图片采样,利用Label Img工具对图片标注和通过裁剪,提高亮度等手段进行了数据增强等处理。主要工作内容如下:1.针对基于深度学习的目标检测算法SSD的参数过多问题,本文考虑到MobilenentV1的深度可分离卷积结构,能够将卷积操作转化为深度卷积和一个逐点卷积,从而降低参数量。因此本文采用了由深度可分离卷积构成的MobilenentV1的轻量化的卷积神经网络模型。通过MobilenetV1-SSD算法融合迁移学习的方式,减少了对样本数量的要求,缩短了训练时间,实现了系统实时的视频检测效果。2.在Inception-ResNet-v2网络的基础上,设计融合浅层特征的结构,得到多路特征融合的Faster R-CNN检测模型,提高了检测的精确度,以更好的实现离线视频检测功能。3.进行了课堂执守系统的设计与实现。本文对系统进行详细设计,通过C#语言和SQL server数据库实现平台的搭建。经过实验测试,基于MobilenetV1-SSD算法训练的模型和基于多路特征融合Faster R-CNN模型导出到系统网站上,能够在web端分别实现实时检测上课的学生姿态行为以及课下分析,以达到辅助教师提高教学效果的目的。