随着校园数字化建设的普及,通过深度学习方法可以将课堂视频充分挖掘,提供学生上课状态信息,帮助老师提高工作效率,并督促学生认真学习,但目前视频行为识别技术还不能满足不同场景的变化,因此将行为识别应用在课堂视频中依然具有挑战性。通过分析课堂视频,针对学生密集、行为相似及遮挡严重的问题,设计姿态跟踪方法提取学生单人姿态流,构建图卷积神经网络与自注意力机制相结合的模型,进一步提高学生行为识别准确率。本文的主要工作有:首先,针对课堂视频中学生拥挤导致无法对学生定位并提取姿态流的问题,提出基于FFL-Track的课堂学生姿态跟踪模型。将姿态估计算法获取的骨骼信息转换为课堂中的人体姿态表达,并过滤无效姿态和冗余姿态,以便获取正确的骨骼信息;计算学生首尾帧与下一帧姿态的相似性,利用双重信息对学生进行匹配得到单人姿态流,旨在应对遮挡和漏检导致的学生ID切换问题。其次,针对课堂视频中学生姿态相似导致无法有效提取特征并分类的问题,提出基于SGCTSA的课堂学生行为识别模型。根据人体骨骼特点,构建学生时空图结构;对学生图结构添加骨骼中心化和时间位置嵌入,以便保留学生时间维度的序列关系与行为特点;利用空间图卷积神经网络和时间自注意力机制共同提取学生行为的时空特征,旨在提高模型的表达能力。最后,融合两个模型实现课堂视频中端到端的多人姿态跟踪和行为识别。为了验证模型在课堂视频中的有效性,建立课堂学生姿态跟踪和行为识别数据集,进行消融实验验证各部件的合理性,通过定量研究和定性分析表明模型在课堂视频中的实用性。