课堂行为的评价与分析能够形成有效的教学反馈,辅助教师进行教学决策。但直接利用视频数据会造成评价对象隐私信息的泄露,在保障对象隐私安全的前提下,对课堂采集数据进行分析和评价,可以消除评价对象的戒备心理,从数据质量的角度提升行为识别的精度,进而形成更为科学的教学决策。骨骼行为数据由于不含有对象外部特征,被认为是一种安全性较强的数据类型。在保证学生的隐私安全的前提下,使用骨骼数据与课堂教学课件结合,开展多模态课堂行为识别及教学决策研究,并根据课堂行为与课件设计之间的响应关系,给出多媒体课件的设计策略,辅助教师进行教学方法的改进,具体工作包含以下三个方面:（1）针对数据采集中骨骼数据身份标识缺失和对学生进行身份识别所产生的隐私安全问题,引入视频图像数据模态构建了一个基于空间位置的学生身份识别方法。对视频图像数据,基于Xception改进了SSD网络,使其在对学生空间位置的识别速度和识别精度上满足了课堂采集的要求,之后基于座位构建了学生空间矩阵,对骨骼数据添加空间位置约束,获取准确的身份标识,在骨骼身份识别认证过程引入生物哈希算法对空间特征进行加密保护,解决了隐私保护下的学生骨骼数据的身份识别问题,提高了课堂数据的采集质量。（2）为了提高课堂环境中行为识别的安全性和准确性,并且从行为识别的角度对教学设计提供决策支持,提出了一种骨骼数据和多媒体课件结合的学生课堂行为识别方法。首先是对骨骼和课件这两种数据分别进行特征提取,获取自身的特征表示。然后基于注意力机制构建了一个多模态注意力模块,通过交换模态间的信息获取二者之间的交互关系。最后,构建特征融合和预测模块对两种模态的特征进行整合完成课堂行为识别。实验部分,将所提方法在课堂行为数据和同步播放的多媒体课件数据上进行实验验证,与只使用骨骼数据进行行为识别相比,识别精度提升了5.6%,并且在所对比的特征提取方法上识别效果都得到了提升。此外在课堂数据集中,与多模态方法进行了对比,结果表明了所提方法的有效性。最后,将多模态注意力中课件与学生行为的相互关系进行了可视化,根据行为对不同课件设计的注意力程度,建立多媒体设计的决策方案。（3）设计并实现了一个基于课堂行为识别的教学决策辅助原型系统,系统通过Kinect传感器采集课堂中的数据,采用提出的基于空间位置的学生身份识别方法在保证学生隐私的同时对骨骼数据进行准确采集,采取提出的骨骼-课件多模态行为识别方法对学生行为进行识别,最后对行为识别和分析结果进行可视化,针对多媒体课件的设计给出教学决策支持。本论文共有图24幅,表6个,参考文献151篇。