基于深度学习的教师语音情感识别研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:x360791581
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感表达是人类交流互动的重要组成,通过语音情感识别技术赋予机器识别、理解和表达情感的能力,是人工智能未来发展的方向。近些年,语音情感识别在情感计算、学习情感检测、心理健康分析、客户服务检测等方面的快速发展而备受关注。在人工智能教育领域,教师教学话语是课堂教学的主要方式,教学情感作为教学评价的主要评估依据,深刻影响着教师的教学方式、课堂氛围和教学效果。而面对海量的教学数据,目前针对教师情感判定和课堂氛围分析主要采用课堂观察、调查问卷和教师访谈等传统人工方法。因此如何利用深度学习技术自动识别教师话语情感,实现课堂氛围智能分析,是教育大数据下教学评价面临的主要问题。针对目前人工智能教育领域缺乏对教师情感的智能化评价方法的问题,本文提出一种将帧级特征和话语级特征融合的教学语音情感识别模型,本模型将帧级特征和话语级特征相融合,并在开源数据库和教学语音数据库上进行语音情感识别实验,最终应用到真实课堂中,利用教学语音情感识别系统可视化展示教学情感和课堂氛围。实验结果表明,本方法在语音情感识别任务中,相对其他主流方法具有很好的识别效果。本文主要工作和创新点包含如下三个方面:首先,本文根据语音的时空特征设计了不同的语音情感特征提取模块,针对语音的帧级时序特征和话语级全局特征,分别设计了基于帧级特征表征学习和基于话语级特征表征学习两种语音情感识别模型,并在开源语音数据库上进行了语音情感识别实验。实验结果表明,两种特征表征模型在情感识别任务中各有优势。其次,本文将语音的空间特征和时序特征的优点相结合,提出了一种基于MALSTM-FCN-LSTM并联网络(LFL-Net),其中MALSTM-FCN网络提取语音信号的空间和时序特征,LSTM网络提取语音信号的全局特征,融合后提高了特征的表征能力。实验结果表明,采用基于LFL-Net的网络模型在开源的语音情感库中测试,取得了较好的识别效果。最后,基于传统课堂教学场景,我们采集中学课堂的教学场景语音数据,对语音数据进行包括杂音剔除、降噪、静音切割等预处理,然后进行人工校对和标注,建立了教学语音情感语料库TSEC。利用在语料库上训练好的LFL-Net模型实现对教师教学语音情感的自动识别,并可视化展示课堂教师的情感和课堂教学情感氛围。
其他文献
近年来,随着我国地铁投资建设的迅速发展,地铁建设规模得到进一步扩大。地铁隧道系统属于城市重大地下系统,受到内外多种耦合因素作用,一旦在运营期出现受损情况,其维修难度较大,严重时会影响到地铁的正常运营以及隧道的安全性。传统的地铁安全性评估研究方法主要侧重于被动的研究,如可靠性、风险管理等,强调事故发生前的风险控制,较少考虑灾后恢复问题。在综合考虑经济性和安全性时,韧性已经成为描述突发事件下复杂系统的
全地形车是一种可用于非铺装路面驾驶且具有极强的通过性的一类汽车,而与全地形车相关的伤者中63%为全地形车侧翻导致,而悬架系统直接影响全地形车侧倾特性。空气互联悬架(PIS:Pneumatic interconnected suspension)具有空气悬架的非线性刚度特性,同时其质量轻、体积小、成本低,故考虑将PIS悬架应用于全地形车上。已知交叉型液压互联悬架具有可提升侧倾刚度的特性,故本文借助多
目的:EGFR vⅢ突变是胶质瘤中最常见的恶性事件,参与胶质瘤多种恶性进展。我们提取U87-vⅢ和U87细胞核蛋白做质谱分析发现:当EGFR vⅢ突变激活时,组蛋白H2AZK4/7AC表达减少。组蛋白乙酰化通常与基因转录相关,我们猜想EGFR vⅢ通过下调H2AZK4/7AC影响抑癌基因转录,进而加快胶质瘤恶性进展。我们通过构建EGFR vⅢ持续过表达的胶质瘤细胞并联合小分子抑制剂的使用探索EGF
当前我国正处于快速发展的历史时期,能源消耗量不断上升。随着能源环境问题的逐渐突出,对各行业进行节能改造成为必然选择。具体到建筑行业,随着设计标准逐渐提高,新建建筑能耗显著降低,对既有建筑进行节能改造成为降低建筑能耗的主要措施。本文结合洛阳地区既有居住建筑节能改造相关工作,分别针对城镇和农村选取典型居住建筑进行采暖能耗分析,并根据能耗分析结果,针对围护结构各部位提出多种改造方案。同时结合全寿命周期理
目的:探讨伴DNMT3A突变急性髓系白血病(AML)细胞对巨噬细胞极化表型的影响及其调控机制,探寻潜在治疗靶点。。方法:利用CRISPR-Cas9技术完全敲除急性髓系白血病细胞系SKM-1细胞的DNMT3A基因,构建KO细胞株;利用慢病毒转染技术构建伴随DNMT3A R882H位点突变的SKM-1单克隆细胞株(R882H细胞株)及只转有空载的阴性对照(negative control,NC)细胞株
学位
随着物联网(Internet of Things,Io T)在电子健康、智能监控、智能交通系统、家庭与工业自动化等领域的普及,现有的低功耗物联网技术已无法满足大规模接入、远距离传输的设备需求。Wi-Fi联盟提出了IEEE 802.11ah标准,以便满足对此类大规模网络的接入需求,为了降低密集场景下的无线设备接入过程中的冲突概率,减少设备的竞争开销,该协议引进了受限访问窗口机制(Restricted
近年来保险行业紧随时代飞速前进的步伐,也快速向前迈进,很多保险公司实力在不断扩张,但面临的市场压力也在不断攀升,为了公司可持续发展,经营管理效率更高,提升应对市场监管压力的能力,在财务上越来越多保险公司试图通过财务共享模式来破局,在使用这种财务模式的同时也给公司自身带来了一些难题。财务共享服务中心主要借助标准化流程、专业化分工、自动化手段,实现规模效益,以达到节约成本、增加企业价值的目的。与此同时
在农业生产过程中,农作物的质量和产量均受土壤质量的影响。生物炭是一种具有复杂孔隙结构和丰富的官能团的炭材料,对镉具有很好的吸附钝化效果。本文将生物炭应用于镉污染土壤的修复,通过生物炭在溶液中的吸附实验和土壤中的钝化修复实验,研究生物炭对污染环境中镉的吸附效果。为了提高生物炭对镉的钝化效果,本文对生物炭原料进行附磁处理,制备磁性生物炭。小麦盆栽实验表明:原始生物炭的处理对小麦的生长均有促进作用,六种
随着现代社会的发展,工业化、城市化等人类活动造成了严重的重金属污染。并且世界各国的重金属污染情况日益严重,已经成为影响人类健康和植物生长的重要原因,特别是发展中国家。植物可以通过调节形态、生理和生态的适应能力来应对环境条件的变化。由于叶片的功能特性也会随着周围环境的变化而变化,所以可以通过其变化来监测植物对环境变化的响应。本研究旨在探讨Cd、Pb单独处理和Cd、Pb同时处理对入侵植物、本土克隆植物