论文部分内容阅读
课堂教育是学校教育的重要环节,如何提高课堂教育质量一直是学校教育的重要研究内容。近几年来,随着计算机技术、计算机视觉技术的快速发展,课堂智能化也成为课堂教育发展的重点方向。课堂人体行为识别的研究是课堂智能化的一个关键领域,课堂中学生行为反映了教师与学生的互动程度、学生上课的积极性以及教师授课能力。了解并分析学生课堂上的行为活动,有利于了解学生上课时的状态,从而针对性的改进教学方式,提高教学质量。因此,课堂人体行为识别研究是一项有意义而且具有挑战性的课题。
虽然人体行为识别已经有了较为深入的研究,但在教室场景下的人体行为识别研究还处于发展阶段。本文研究了基于卷积神经网络的课堂学生起立、举手等行为,论文的主要工作如下:
(1)构建了一个用于课堂起立的数据集。数据集的原始数据来源于网络资源与真实教室录制。数据集根据教室学生人数的不同,分为大、中、小三种规模的教室场景,每种人数规模的教室都包含不同的光源条件。构建的数据集将用于识别学生起立模型的训练及测试。
(2)基于人脸识别的学生身份验证。将卷积神经网络应用于课堂人脸识别中,针对人脸相似的特点,改进了VGG-16(Visual Geometry Group)的损失函数,减少类内距离,增大类间距离。改进的VGG-16网络提高了人脸识别准确率,在Labeled Faces in the Wild(LFW)数据集上的精确率较经典VGG-16提升了2.4%,对发生起立行为的课堂学生身份能够进行有效验证。
(3)基于骨骼关键点的课堂举手行为识别。针对课堂学生举手的多样性,采用了人体骨骼关键点检测的方法,对课堂学生举手的行为进行判定。首先通过OpenPose模型检测课堂学生的骨骼关键点,利用检测出的关键点坐标信息及连接信息,对学生的手臂姿态进行分析,最终达到识别学生举手行为的目的。
(4)基于改进SSD(Single Shot MultiBox Detector)的课堂起立行为识别。由于课堂学生上课时为坐姿状态,因此,通过识别学生站立状态判定学生的起立行为。改进了SSD算法的基础网络结构,加深网络层数,增强了网络特征提取能力。针对课堂正负样本不均衡的问题,改进了损失函数。改进的SSD算法在自建数据集上准确率达到86.7%,检测速度为33fps(Frames Per Second),符合实时性要求。
虽然人体行为识别已经有了较为深入的研究,但在教室场景下的人体行为识别研究还处于发展阶段。本文研究了基于卷积神经网络的课堂学生起立、举手等行为,论文的主要工作如下:
(1)构建了一个用于课堂起立的数据集。数据集的原始数据来源于网络资源与真实教室录制。数据集根据教室学生人数的不同,分为大、中、小三种规模的教室场景,每种人数规模的教室都包含不同的光源条件。构建的数据集将用于识别学生起立模型的训练及测试。
(2)基于人脸识别的学生身份验证。将卷积神经网络应用于课堂人脸识别中,针对人脸相似的特点,改进了VGG-16(Visual Geometry Group)的损失函数,减少类内距离,增大类间距离。改进的VGG-16网络提高了人脸识别准确率,在Labeled Faces in the Wild(LFW)数据集上的精确率较经典VGG-16提升了2.4%,对发生起立行为的课堂学生身份能够进行有效验证。
(3)基于骨骼关键点的课堂举手行为识别。针对课堂学生举手的多样性,采用了人体骨骼关键点检测的方法,对课堂学生举手的行为进行判定。首先通过OpenPose模型检测课堂学生的骨骼关键点,利用检测出的关键点坐标信息及连接信息,对学生的手臂姿态进行分析,最终达到识别学生举手行为的目的。
(4)基于改进SSD(Single Shot MultiBox Detector)的课堂起立行为识别。由于课堂学生上课时为坐姿状态,因此,通过识别学生站立状态判定学生的起立行为。改进了SSD算法的基础网络结构,加深网络层数,增强了网络特征提取能力。针对课堂正负样本不均衡的问题,改进了损失函数。改进的SSD算法在自建数据集上准确率达到86.7%,检测速度为33fps(Frames Per Second),符合实时性要求。