如果学生是一个国家蓬勃发展的年轻力量,老师是辛勤育人的园丁,那么课堂就是老师教授学业和学生掌握知识的重要场所,通过数字化技术检测与分析课堂上学生的不同行为,不仅可以提醒学生规范自身行为,还能反映课堂活跃程度,帮助老师改善教学方式。同时,为了满足各区域对优秀教育资源快速共享的要求,视频录播技术得以发展。目前市面上主流的视频录播系统仍是人工导向,需要专业人员操作摄像机进行拍摄,从而导致拍摄质量的不稳定及人力成本的提高。此外,拍摄人员在课堂中操作摄像机或走动等行为可能会打断老师的思路或分散学生的注意力,影响到课堂的教学质量。虽然目前已有部分智能录播系统采用了人工智能技术,但仅使用人脸识别或声音识别等较单一的技术来分析学生课堂表现,在实际复杂多变的课堂场景中适应性较差,存在一定的局限性。针对上述问题,本文主要研究数据融合对提升课堂学生行为识别效果的作用。其中系统性地研究了多种数据类型如人体关键点和RGB图像的课堂学生行为识别算法,基于数据融合方式如融合人体关键点与RGB图像的课堂学生行为识别算法,以及如何通过数据后处理及改进方式进一步提升效果,最终实现了一套适用于课堂环境的基于数据融合的课堂学生行为分析系统。本文核心的工作与研究内容如下:(1)在单一数据类型方面,由于目前没有公开的数据集,因此本文首先采集和制作包含端坐、起立和举手3类动作的课堂学生行为数据集,并开发了一套专用的基于关键点的学生行为标注工具,同时基于人体关键点提出一种有效识别课堂学生行为的算法,针对传统图像检测和识别问题无法忽略背景干扰造成鲁棒性较差的问题,本文将传统课堂行为识别手工提取特征这种较为繁琐的方式,转换为通过姿态估计自动得到人体关键点并基于支持向量机进行行为识别,最终通过本文提出的姿态坐标归一化、头肩区域非极大值抑制等操作进一步提升识别效果。(2)在数据融合方面,提出一种融合人体关键点与RGB图像的双流课堂学生行为识别算法。针对单一数据类型无法很好提供对识别有利特征的缺点,本文通过设计一个合理及有针对性的双流网络,融合两条支路的特征进行行为识别,从而提高了算法的鲁棒性。(3)在数据后处理方面,本文研究如何更有效提升学生行为识别算法的效果,提出了如根据训练损失值排序重新标注含有较大损失值的数据、根据热力图分布情况分析数据等方法,进而得到更适合训练的数据。实验表明,使用质量更佳的数据更有利于模型的训练。(4)在系统设计方面,本文基于跟踪去重法保存学生行为的抓拍图,可以减少误检率;根据行为统计结果基于学生课堂位置生成局部和全局行为统计图;最终实现自动导出课堂学生行为分析报告的功能。根据本文所提出的基于数据融合的课堂学生行为识别方案,进而设计并制作了课堂学生行为识别与分析系统。经多组实验对比验证,本方案的精度和召回率分别达到了92%和96%,应对不同场景仍具有较好的鲁棒性,满足实际应用需求。