基于可解释层级对比的学习者表情识别及应用

来源 :浙江师范大学 | 被引量 : 0次 | 上传用户:lv_yj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
课堂中教师与学习者之间情感交互极易失衡的问题,严重影响了课堂的互动性和有效性。学习者面部表情作为反映学习者情感表达的重要方式之一,蕴含了学习者在学习过程中内心情感的变化过程,为解决学习者情感失衡问题提供了思路。但目前表情识别模型仅注重提高单个表情类别自身的表征特征,却忽略了多种表情间存在较易于区分的特征以及易混淆表情识别的特征,而这些特征往往是提高表情识别效率和鲁棒性的关键因素。且目前的表情识别模型大多数不具有可解释性,使其应用于课堂场景中学习者表情识别鲁棒性较低。为了解决上述问题,本文提出基于可解释层级对比的学习者表情识别模型,主要内容如下:1)提出基于层级交叉对比的面部表情识别技术,通过对比多个层级的面部局部特征,获取面部表情间的差异特征和混淆性特征,并设计特征融合网络来降低噪声干扰。在此基础上,在CK+、FER+和RAF-DB三个公开的表情数据集上进行实验,验证该模型的有效性;2)由于实现学习者表情识别模型的可解释性是在现实课堂场景得以应用推广的前提条件,因此,针对基于层级交叉对比的表情识别模型不具可解释性的不足之处,本研究提出面向层级对比表情识别的卷积神经网络可解释性技术,并基于决策树呈现表情识别过程。此外,本研究采用迁移学习实现了现实课堂中少样本数据的模型预测,面向在线学习环境进行学习者面部表情数据采集和实验,验证了本研究提出模型的有效性和实用性;3)依托iStudy在线学习平台,设计学习者情感问题诊断系统。该系统面向在线学习环境,在获取学习者的情感状态的同时,在系统页面呈现消极情感对应的表情类别和局部特征。由此,教师可查验情感状态的准确性,并结合当前的知识点对消极情感产生的原因进行可解释性分析,实现学习者情感问题进行诊断,由此教师对学习者进行个性化干扰与引导,增强课堂的互动性和效率。本研究针对学习者表情识别及对应的情感状态分析问题,创新性主要体现在:(1)设计层级交叉对比机制,获取识别表情的关键特征和混淆表情识别的特征,以提高表情识别模型的准确率和效率。(2)面向上述模型设计可解释性机制及可视化机制,为学习者情感问题诊断系统的设计与开发奠定了基础。(3)基于i Study平台进行面向学习者情感问题诊断的应用,为教师对学习者消极情感的及时掌握、有效确认与情感问题的可解释性分析提供了支持。
其他文献
在小学英语教学中,教师不仅要注重基础知识的传授,更要注重对学生自主学习意识和思维能力的培养,这样才能够与新时代的教育要求相契合。但是,传统教学设计往往单一,难以达成这一目标。这就要求广大教师紧跟时代步伐,优化、创新教学设计,为高质量英语教学做足准备。基于此,本文就将小学英语教学作为载体,首先分析小学英语的教学现状,然后就基于促进自主学习与思维能力提升的教学设计重要性和措施展开探究。
期刊
中国黄土高原黄土-古土壤沉积序列提供了第四纪时期亚洲季风乃至全球气候变化最完整的陆相记录之一。黄土高原地区在冬季与夏季受不同气候系统控制:冬季主要受西北向冬季风控制,粉尘大量堆积形成黄土层;夏季主要受东南向夏季风控制,受成壤作用影响发育形成古土壤层。黄土层-古土壤层不同性质记录了东亚季风演化。本研究基于X射线衍射方法(XRD),通过研究黄土高原地区黄土-古土壤粘土矿物对第四纪时期东亚夏季风变化进行
学位
制造型企业具有业务系统特殊、数据量大、架构复杂交错等特点,同时各个应用系统之间数据难以互通,存在信息孤岛现象。打通制造型企业的数据壁垒,通过数据分析、数据挖掘以及人工智能等方式能够有效促进企业的经营、管理以及生产。制造型企业数据在流转的过程中会发生信息缺失、信息重复等数据质量问题,这些数据质量问题会影响到制造型企业依据数据所做的经营决策。制造型企业在解决信息孤岛和数据质量方面存在以下几个问题:异构
学位
目的:观察加减二仙汤结合温针灸治疗早发性卵巢功能不全脾肾阳虚型的效果。方法:106例随机分为观察组和对照组各53例,对照组给予常规西药治疗,观察组给予加减二仙汤及温针灸治疗。结果:观察组总有效率高于对照组(P<0.05),治疗后两组中医症状积分、血清FSH、LH、E2指标水平、卵巢超声指标(PSV、PI、RI、AFC)水平均下降,观察组与对照组比较下降更显著(P<0.05);结论:加减二仙汤结合温
期刊
在全球气候变化大背景下,人类活动所排放的以PM2.5为主的大气污染物加速了生态环境的恶化,对全球生态系统产生了破坏性影响。21世纪以来非洲发展迅速,但在全球视角下以西非为代表的非洲大陆国家PM2.5浓度形势严峻,以其高人口密度成为PM2.5暴露高健康风险区。而非洲大陆的空气监测信息缺乏,遥感技术则可为其提供信息补充。本研究利用全球遥感反演PM2.5数据集,结合GIS空间分析揭示了尼日尔河流域PM2
学位
男性乳房发育症(gynecomastia,GYN)是男性乳腺组织的良性增生性疾病,在新生儿、青少年以及中老年人群较为常见,其主要发病机制是乳房组织中雄激素和雌激素作用的不平衡,根据致病因素可分为生理性、病理性、药理性及特发性GYN。该疾病临床评估的要点需鉴别假性男性乳房发育症,排除乳腺癌等恶性疾病和明确可能病因。治疗主要包括临床观察、药物治疗、手术治疗、心理治疗等。
期刊
<正>抗中性粒细胞胞浆抗体(antineutrophil cytoplasmic antibody,ANCA)相关性血管炎是一种自身免疫性疾病,主要影响中小血管(即毛细血管、小静脉和小动脉)[1]。ANCA相关性血管炎包括肉芽肿性多血管炎(granulomatosis with polyangiitis,GPA)、显微镜下多血管炎(microscopic polyangiitis,MPA)和嗜酸性
期刊
第四纪加积型网纹红土在长江中下游地区分布较为广泛,是对第四纪环境变化的记录和响应,其中网纹形态特征的时空变化,很可能蕴含有我国南方第四纪气候与环境变化的独特信息,但是以往国内外研究者大多关注网纹红土的理化性质,较少研究网纹形态特征,探讨两者关系的更为鲜有。为此,本文基于前人对网纹红土理化性质的广泛研究,以江西九江剖面为例,从研究较少的网纹形态视角切入,利用ENVI、Arcgis、PS等软件并结合目
学位
近年来,目标跟踪吸引了越来越多人的关注,并且现阶段依旧是一个十分活跃的研究领域。在现实生活中,视觉目标跟踪具有着广阔的使用场景,如视频监测、智能人工交互、自动驾车系统等。随着算法的迅速发展,目标跟踪领域取得了很多突破性的成果。然而,由于在视频序列图像中存在遮挡、形变、快速运动等问题,目标跟踪领域仍然面临着诸多挑战。目前,在目标跟踪领域使用最广泛的模型是基于孪生网络(Siamese Network)
学位
利用半导体光催化技术解决能源短缺和环境污染问题是一个绿色、节能又极具挑战性的策略,其中,高效光催化剂的开发是实现其应用的关键。CdS是一种较为突出的可见光响应型光催化剂,禁带宽度为2.4 e V,具有优异的光学和电学性能,由于其原料丰富、价格低廉和高化学惰性等优点,在环境净化领域受到研究人员的广泛关注。但是CdS也存在光生电荷复合率高、量子效率低、可见光响应范围有限、光催化活性差等问题。为了解决C
学位