论文部分内容阅读
情感在人的生活中发挥重要的作用,能够直接影响人的思维、记忆、创造力以及行为。课堂学习环境中学生的情感状态会影响其认知活动,积极的情感将对学习活动起到促进作用。传统课堂中教师面对的学生数量较多,在保证授课质量的同时难以及时感知每个学生的学习情感状态,不利于师生之间的和谐情感交互。人工智能技术的发展推动了智慧学习的深入研究,智慧学习环境中学生情感的准确识别是帮助教师及时调控学生情感状态、优化教学的重要手段。面部表情是情感的主要表达途径,并且在学习环境中相较于其他生理信息更容易获取,因此智慧学习环境中学生的学习情感多通过表情进行判断。通过总结相关研究发现,对于学习情感的探索起步较晚,近几年发展迅速,但仍存在以下问题:其一,各研究关注的学习情感类型不同,并且没有给出合理的分类依据;其二,学习表情相关的数据库较少,难以支持算法的深入研究;其三,学习表情大多比较细微,区分度小,缺少针对学习表情特点的特征提取方法,识别率较低,不利于应用到实际学习环境中。基于以上问题,本文构建学习表情数据库,提出了一种基于深度学习的融合特征提取方法。首先,基于对学习情感的发生机制、教育功能和类型的研究,提出本文关注的学习情感类型,即五种常见并具有关键教育功能的情感状态:惊奇、困惑、愉悦、疲倦、中性,并给出研究依据。结合面部动作编码体系总结了每种表情的关键表征。其次,构建自发学习表情数据库,包括惊讶、困惑、高兴、疲倦、中性五种表情类型,制定了严格的数据库录制标准,采用Intel RealSense SR300摄像头拍摄被试在学习状态下的自然情感流露,并由心理学人员和被试分别标注情感,以保证标签的准确性。再次,本文针对学习表情特点提出了一种融合特征提取方法。构建7层卷积神经网络(CNN)用于深度全局特征提取;利用完整局部二值模型(CLBP)提取浅层全局纹理特征,并使用核主成分分析(KPCA)对纹理特征进行分块降维;在眉毛、眼睛、嘴巴部分定义了四种几何特征,将三者融合后的特征作为最终的表情特征数据。通过深层与浅层、局部与全局两个层面的特征融合,有效增加了特征表现力与稳健性,同时特征维度低,能够提高识别效率。最后,通过实验验证本文算法有效性。将本文提出的方法在自发学习表情数据库、中国化面孔情绪图片系统和CK+库中进行测试,识别准确率达到95.6%、87.6%、96.3%。分别将单一特征与融合特征识别率进行对比,结果表明本文特征融合方法比单一特征效果更好;同时对比目前主流方法的识别效果,证明本文方法能够有效识别学习表情,提高基本表情的识别率。本文研究为在课堂学习环境中实现学生学习情感分析,促进智慧学习的发生奠定了技术基础。