基于RealSense的自发学习表情识别研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:maolinzhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感在人的生活中发挥重要的作用,能够直接影响人的思维、记忆、创造力以及行为。课堂学习环境中学生的情感状态会影响其认知活动,积极的情感将对学习活动起到促进作用。传统课堂中教师面对的学生数量较多,在保证授课质量的同时难以及时感知每个学生的学习情感状态,不利于师生之间的和谐情感交互。人工智能技术的发展推动了智慧学习的深入研究,智慧学习环境中学生情感的准确识别是帮助教师及时调控学生情感状态、优化教学的重要手段。面部表情是情感的主要表达途径,并且在学习环境中相较于其他生理信息更容易获取,因此智慧学习环境中学生的学习情感多通过表情进行判断。通过总结相关研究发现,对于学习情感的探索起步较晚,近几年发展迅速,但仍存在以下问题:其一,各研究关注的学习情感类型不同,并且没有给出合理的分类依据;其二,学习表情相关的数据库较少,难以支持算法的深入研究;其三,学习表情大多比较细微,区分度小,缺少针对学习表情特点的特征提取方法,识别率较低,不利于应用到实际学习环境中。基于以上问题,本文构建学习表情数据库,提出了一种基于深度学习的融合特征提取方法。首先,基于对学习情感的发生机制、教育功能和类型的研究,提出本文关注的学习情感类型,即五种常见并具有关键教育功能的情感状态:惊奇、困惑、愉悦、疲倦、中性,并给出研究依据。结合面部动作编码体系总结了每种表情的关键表征。其次,构建自发学习表情数据库,包括惊讶、困惑、高兴、疲倦、中性五种表情类型,制定了严格的数据库录制标准,采用Intel RealSense SR300摄像头拍摄被试在学习状态下的自然情感流露,并由心理学人员和被试分别标注情感,以保证标签的准确性。再次,本文针对学习表情特点提出了一种融合特征提取方法。构建7层卷积神经网络(CNN)用于深度全局特征提取;利用完整局部二值模型(CLBP)提取浅层全局纹理特征,并使用核主成分分析(KPCA)对纹理特征进行分块降维;在眉毛、眼睛、嘴巴部分定义了四种几何特征,将三者融合后的特征作为最终的表情特征数据。通过深层与浅层、局部与全局两个层面的特征融合,有效增加了特征表现力与稳健性,同时特征维度低,能够提高识别效率。最后,通过实验验证本文算法有效性。将本文提出的方法在自发学习表情数据库、中国化面孔情绪图片系统和CK+库中进行测试,识别准确率达到95.6%、87.6%、96.3%。分别将单一特征与融合特征识别率进行对比,结果表明本文特征融合方法比单一特征效果更好;同时对比目前主流方法的识别效果,证明本文方法能够有效识别学习表情,提高基本表情的识别率。本文研究为在课堂学习环境中实现学生学习情感分析,促进智慧学习的发生奠定了技术基础。
其他文献
研究目的:观察温经通络汤治疗膝骨关节炎(寒湿痹阻证)的临床疗效。研究方法:本研究选取2019年2月至2020年2月于江苏省中医院骨伤科门诊就诊被诊断为寒湿痹阻证膝骨关节炎的患
白云母是工业应用中重要的原料之一,故研究者们围绕白云母的选别进行了大量研究,但已有研究多集中于浮选的应用试验,而关于在油酸钠体系下白云母与调整剂作用机理缺乏系统研
近年来,随着城市化进程的不断加快,我国旅游业得到迅速发展,客流量的快速增长给各旅游景区的环境与安全管理带来了一系列挑战,而精准的景区客流预测预警有助于景区的科学管理,降低密集人群带来的风险。因此,建立准确的客流预测模型与高效的客流预警平台对于旅游发展政策制定、旅游市场资源优化配置、旅游企业战略实施等方面都有着重要意义。针对以往景区客流预测数据源单一,传统时间序列模型对数据分布稳定性的依赖等问题,本
最高人民检察院部署开展“监督维护在押人员合法权益专项活动”以来,湖北省荆州市江北地区检察院秉持检察机关宪法定位,依法办理涉及在押人员权益保障类刑事执行监督案件,保障在
报纸
在数据规模呈现出指数增长趋势的今天,如何借助数据挖掘技术从海量数据中快速准确地抽取最精简、最有价值的信息,已经成为当前的研究热点。同时,如何利用数据挖掘技术来提高推荐系统的推荐准确度也成为了重要课题。本文重点对模糊聚类算法及其在协同过滤推荐中的应用进行研究。首先以提高模糊聚类算法的效率为目标,利用大数据处理平台Spark的特点进行了模糊聚类算法FCM的并行化方案设计与实现,该方案用HDFS对底层数
自行设计了主井箕斗滚轮罐耳上的水平力传感装置,并在实验室对该装置进行了静态和动态标定,建立了水平力传感装置所测电压与滚轮罐耳所受水平力之间的相互关系。借助自行设计
带式输送机在煤矿运输系统中应用越来越多,为了满足煤矿高效生产的要求,带式输送机也也越来越向高难度(大倾角、长距离、大功率等)方向发展。由于难度的增加,输送机的安全要
2018年12月29日,国家民委公布了《关于命名普洱市为“全国民族团结进步创建示范市”的决定》。《决定》指出,普有市的生动实践,为云南省和边疆地区民族团结进步创建工作创造
土壤是人类最早开发利用的生产资料,也是人类赖以生存的物质基础和宝贵财富的源泉。重金属作为主要土壤主要污染物之一,对土壤环境质量的影响非常巨大,而且会通过食物链富集