【摘 要】
:
在人类历史发展史上,情绪无处不在。在就医的过程中,医生在看病的过程中,可以通过患者的情绪来分析病痛的严重性,特别是对于言语表达有一定障碍的患者,情绪对它们来说就非常重要。在人工智能拔地而起的今天,计算机信息技术作为基础尤为重要,在人机交互的反馈中,情绪的反馈与辨识就显得尤为重要,拟人化的人机交互,借助情绪识别的状态,就可以与人交互的更加自然和灵性。之前对情绪识别的研究,更多的是单一的从语音、文字、
论文部分内容阅读
在人类历史发展史上,情绪无处不在。在就医的过程中,医生在看病的过程中,可以通过患者的情绪来分析病痛的严重性,特别是对于言语表达有一定障碍的患者,情绪对它们来说就非常重要。在人工智能拔地而起的今天,计算机信息技术作为基础尤为重要,在人机交互的反馈中,情绪的反馈与辨识就显得尤为重要,拟人化的人机交互,借助情绪识别的状态,就可以与人交互的更加自然和灵性。之前对情绪识别的研究,更多的是单一的从语音、文字、面部等方向进行识别率的分析研究,而这种研究在今后的人工智能发展上具有局限性,人机交互不可能只从声学等单方面的捕捉信息并执行相关操作。所以如果想让机器能够像人一样的感知和理解情感,那么就必须让机器能够对人类这方面的能力进行模拟,进而让机器具有捕捉多模态的情感特征,并对其进行处理,最后表达出相应人类情感的能力。在之前的情绪识别的研究中,更多的研究者对于情绪识别材料的选取更多的倾向于剧本式、模式化的材料,这样会造成泛化能力不高,还有对于材料的丰富程度,往往选择的也不够全面,这些都会导致最后得出的情绪识别率不够完整。所以,本文从多模态情感信息数据库,到单一模态的情感特征获取,再到对单一模态下情感的识别,到最后多模态的情感识别,都做了试探性研究和积极实验,以IEMOCAP(interactive emotional dyadic motion capture)交互式情绪二元运动捕捉数据集为基础,分别以语音、文本、面部头部手势信息为分块,进行情绪识别实验。从语音方向提取了MFCC声学情感特征,以神经网络的方式进行建模识别,文本方向以自然语言处理的词嵌入特征向量提取,再使用LSTM长短时记忆网络联系上下文进行识别,面部头部手势以数据集中坐标为基础的特征向量,使用卷积的方式进行实验。在实验过程中,本文系统性的回顾了一些神经网络情感识别的算法,并在模态融合之前回顾性的介绍了模态融合的方式,最后采用了特征融合的思路对多模态情感识别进行了最终的实验并得出结果。最终实验了基于MFCC声学特征的语音情绪识别,识别率达到59.53%,尝试了基于语谱图的CNN情绪识别,识别率达到57.85%。针对数据集中的文本信息,通过Word2vec和Glove分别进行了词袋模型的建立,再通过神经网络进行情绪识别,实验识别率分别为54.92%(glove)和67.12(word2wec)。而对于数据集中面部、头部、手势的信息,采用了对开始时间和结束时间值之间的所有特征值进行采样,分别对三部分(面部、头部、手势)识别,识别结果分别为面部53.30%、头部45.98%、手势49.50%,同时把三部分进行初步融合识别,识别率为51.31%,对以往的研究均有所提升。最后把语音、文字、面部、头部、手势全融合,进行多模态情绪识别,其识别结果达到71.55%,此结果相对以往研究有了较大的提升。
其他文献
进入21世纪以来,随着国家综合实力的快速提高,国家对于人才的需求量剧增,作为为国家培养人才的教育事业显得尤为重要。我国早在2010年就开始了教育事业的深化改革,教育部推出的《国家中长期教育改革与发展规划纲要(2010-2020年)》文件要求该阶段应将进一步提升义务教育均衡发展为推进教育事业的主要战略目标。截止至2019年底,全国有接近81%的市县已经实现了义务教育的基本均衡,但是在经济和社会进一步
阅读教学是语文学科教学的重要环节,承担着发展学生能力、提高学生语文素养、提升学生综合素质的重要任务,对学生产生广泛而深刻地影响。开展有效的阅读教学离不开恰当的阅读策略做支撑。部编版教材创造性地编排了阅读策略单元对学生进行集中且有针对性地训练,从教语文和教知识转向教阅读和教学习方法。三年级上册首开先例,编排了“预测”这一特殊且全新的阅读策略单元,因此开展三年级阅读教学预测策略实践研究具有积极的现实意
古诗文凝聚着古人的思想和智慧,是中华优秀传统文化的精髓之一。它以凝练的语言、深邃的意境、丰富的情感、深厚的哲理等作为促进学生美育发展的养料,对学生审美的发展、民族精神的培育、古诗文教学效果的提高都有重要的意义。虽然古诗文美育的重要性及其价值已经被大多数语文教师所接受,但在实际教学中,古诗文美育又陷入了困境,如古诗文美育的的目、任务、价值不明确,教师美育理论不足,学生功利性动机强等。对此,探究如何更
影响离心泵的内部流动有很多因素,考虑到实际运行中,离心泵存在转子不对中和叶轮偏心等现象,这会导致动静干涉强度发生改变,使泵内强湍流区位置、压力分布和激振力产生变化,对内流场产生较大影响。因此,充分考虑叶轮复合涡动的影响可以揭示真实情况下离心泵内流激振力分布及内流激励特性,完善离心泵内流场分析理论研究。此外,通过进一步研究其对离心泵转子系统动力学特性的影响,将有利于更为准确地把握离心泵转子系统的稳定
近年来,我国空巢老人的占比日益增多,在面临庞大的空巢老人数据占比的情况下,整个社会对空巢老人的养老问题越来越重视。本文所研究的空巢老人是指在城镇化进程中,由农村迁往城镇中形成的拆迁安置社区空巢老人,主要研究他们所面临的养老困境。从个人原因、家庭原因、社会原因分析了A社区空巢老人养老困境形成的原因,从被家人邻里以及社会关注的需求、参与社区活动的需求、经济和医疗保障的需求三个方面进行了A社区空巢老人缓
《儿童园地》是德彪西创作生涯中晚期创作的一部钢琴套曲,此套曲富有表现力和诗意,结合多种音乐元素,看似简单实则风格多变。每首小作品感情细腻,演奏者需要运用不同的触键手法和踏板来描绘作者想表达的意向,使作品更加生动。本文首先了解了德彪西生平及写作风格,又从钢琴套曲《儿童园地》着手,通过分析作者的写作背景、曲式结构、和声织体、所标注的音乐术语及演奏技法,总结出德彪西在钢琴作品中常用到的触键方法与踏板技法
中国房地产行业经历三十多年的高速发展之后,近年来势头渐缓。国家宏观调控的强势介入,使得本就竞争激励的房地产行业不得不直面利润空间进一步压缩的事实。面对“去化”压力,企业想要在呈现不确定性的房地产市场中占据有利地位,必须对自身经营状况有一个清晰的认识。对于房地产开发商而言,企业生存和发展的最终目的是要获得利润,因此,进行盈利能力的深入研究对其长远可持续发展具有十分重要的意义。在对盈利能力的分析中,杜
博弈(game)是理性决策者在考虑他人策略的基础上选择行动使成本最小或效用最大的过程。因其对人类经济、军事等活动产生重要影响,学界专门建立博弈论这一理论学科来分析商品定价、美苏军备竞赛等博弈问题。然而,当参与者数量较多时,利用传统博弈理论建模常使问题变得复杂难解。2007年,Jean Michel Lasry和Pierre Louis Lions提出一类结构较为简单的抛物型偏微分方程系统,即平均场