【摘 要】
：
情绪识别是近年来人工智能的一个研究热点,也是一个难点。人的情绪会通过面部表情、语音、身体姿态等不同模态表达出来。目前,有关静态面部表情和语音的情绪分类研究比较多,但基于面部表情及头部姿态的多模态情绪识别研究相对较少。课题研究了面部表情和头部姿态这两种模态的情绪表达特征,利用宽度学习（Broad Learning System,BLS）算法建立了基于这两种模态特征的情绪识别模型,并在公开的情绪视频数
论文部分内容阅读
情绪识别是近年来人工智能的一个研究热点,也是一个难点。人的情绪会通过面部表情、语音、身体姿态等不同模态表达出来。目前,有关静态面部表情和语音的情绪分类研究比较多,但基于面部表情及头部姿态的多模态情绪识别研究相对较少。课题研究了面部表情和头部姿态这两种模态的情绪表达特征,利用宽度学习（Broad Learning System,BLS）算法建立了基于这两种模态特征的情绪识别模型,并在公开的情绪视频数据集上进行了验证。在提取面部表情信息时,利用三维卷积网络的第二个全连接层作为面部表情输入,每个视频样本提取到一个2048维的特征。对于头部姿态,本文利用面部特征点结构定位的方法,求解头部的三维欧拉角表示其姿态,对于每个视频样本提取到一个33维的头部姿态情感特征。在进行双模态融合前,我们先训练了面部表情和头部姿态的单模态宽度神经网络模型。其中面部表情单模态宽度神经网络模型在传统的CK+表情库上取得93.9%的分类准确率,但在CHEAVD2.0视频情绪库上的准确率只有41.1%。头部姿态单模态宽度神经网络模型在CHEAVD2.0视频情绪库的准确率为33.5%。从实验结果可以看出单模态分类器在处理复杂实际场景中的人物情绪识别任务时效果一般。为了提高识别效果,我们利用宽度神经网络对面部表情和头部姿态分别作了特征层融合和决策层融合。特征层融合采用双宽度神经网络结构对面部表情特征和头部姿态特征作处理,然后通过宽度学习建立情绪分类模型。决策层融合则是把前面两个单模态宽度神经网络模型输出的概率分布经一个级联的宽度神经网络再次训练,得到一个基于宽度神经网络的决策融合模型,该决策融合模型在CHEAVD2.0验证集上的分类准确率为42.3%,优于单模态情绪分类模型的分类准确率。
其他文献
交叉口相位设计与配时相互制约、相互耦合。然而,以往对单点交叉口信号控制的研究多将两者分割开来,忽略了其内在的联系,一定程度上影响了交叉口信号控制的效果。因此,对单点交叉口相位设计与信号配时组合优化进行研究具有重要的理论与实践意义。首先,论文回顾了单点交叉口信号控制研究现状,介绍了信号控制相关概念以及几种常见的信号控制方法和优化算法。其次,针对现有交叉口相位设计与配时研究的不足,本文以车辆平均延误最
近年来户内燃气事故频发,众多燃气事故溯因结果表明人因风险是造成户内燃气事故发生的主要原因。传统户内燃气风险评估方法大多从燃气设备安全状态角度出发,而忽略了使用者的人因风险因素。同时,现有的人因风险分析方法主要集中于安全操作、应急疏散等特殊人群,针对户内燃气场景下普通用户人因风险的研究还不多见。而且,目前用于建立人因风险预测模型的机器学习算法也应用较少、存在预测准确度不高等缺陷。据此,提出一种基于人
由于硬件的限制,人们的手机和电脑中累计了大量低分辨率的图像,为了获取高清晰度的视觉体验,以软件方法提升图像尺寸的超分辨率算法就显得尤为重要。近年来,随着深度学习理论的发展,涌现了大量优秀的超分辨率算法。但真实场景下的低分辨率图像与人工生成的降采样低分辨率图像相比,会受到噪声、伪影、下采样核未知等诸多因素的影响,现有的超分辨率算法提升效果不够理想。本文针对以上问题进行深入的研究,主要内容和成果包括:
锌是国民经济建设和发展中不可替代的重要原材料之一。锌的用途广泛,主要用于钢铁行业、电气工业、机械工业、化学工业、轻工业和医药业等领域。近年来,随着高杂矿处理力度加大,导致生产系统反复波动,锌回收率、锌电积能耗等各项技术经济指标均受到明显影响,电解槽面多次反溶、不同程度的钴铜等杂质的影响,特别是频繁发生的短路情况,导致电流效率较低,仅为85%左右,这限制了阴极锌产量的进一步提高,且造成了大量能耗的损
能源在我国的发展中不可或缺,它为我国的经济和社会发展提供了重要的保障。能源供需系统是针对两地区的能源需求与能源供给之间关系进行的研究,能源系统的研究能够为能源的发展提供一定的理论基础。由于能源系统的复杂性,因此需要施加一定的控制使得系统的稳定性达到所需要的目标。本文针对已建立的能源供需系统模型,施加时滞反馈控制,并对系统进行动力学分析。本文的研究内容主要由以下两部分构成:第一部分针对两地区的能源需
随着健康理念的不断发展,利用环境促进健康的需求不断增加。水资源是健康类场地的重要资源,而针对水体展开的健康效益研究仍有所欠缺。本研究进行了恢复性环境、视觉感知、自然度等研究的综述,从视觉感知角度探索不同类型水景图片自然度水平;以自然度评价为依据,研究不同等级水景图片对认知和情绪的影响;依据水景图片自然度评价、认知和情绪的影响结果,从不同自然度等级水景图片的景观特点及不同自然度等级水景的健康优势特性
呼吸运动是呼吸肌的一种节律性活动,也是整个呼吸过程的基础。Pre-B?tzinger复合体是呼吸节律产生的关键部位。不同的外激励作用会对呼吸节律产生不同的影响,甚至产生病理性呼吸节律。因此了解参数激励调控下的节律模式及其转迁规律有着十分重要的意义。本文以改进的单个pre-B?tzinger复合体中兴奋性神经元模型为研究对象,从动力学角度研究外部刺激电流和磁流对呼吸系统复杂放电模式的影响。本文内容共
随着社会经济的快速发展和城市化进程的加快,城市机动车保有量呈现飞速增长趋势,导致道路网络的交通负荷日益增大,给人们的日常生活带来严重的影响,如日常出行频繁遭遇拥堵、空气质量下降、居民的出行成本增加等。城市交通信号控制和交通流分配是两类应对交通拥堵问题常用的手段。交通控制和驾驶员路径选择协调运作可以有效降低出行延误时间,提升城市交通网络的通行效率。因而,对交通流分配和信号控制的组合优化研究具有十分重
由于行人再识别其未来应用前景十分广泛,近年来一直是计算机视觉领域的研究热点之一。随着深度学习技术的发展,计算机设备性能的提升,越来越多的研究者已将关注点由基于图片的行人再识别转到基于视频的行人再识别。但是,在视频行人再识别领域,除了传统的光照、遮挡、视角变换与背景变换等问题之外,该领域还有另外一个重要问题,即输入数据量由单张图片变为多张图片组成的视频序列所带来的计算量倍增。如何在降低计算量的同时有
臭氧是氧气的同素异形体,由三个氧原子构成,在常温下容易自行分解为氧气。同时臭氧具有极强的氧化性和杀菌能力,并且不产生二次污染,是一种优良的氧化剂和消毒剂。目前国内外学者对臭氧的理化特性和制备方法进行了深入地研究,取得了一系列成果,为臭氧的实际应用提供了坚实的理论基础。介质阻挡放电法（Dielectric Barrier Discharge）制备的臭氧产量大、浓度高,所以广泛应用于工业制备臭氧领域。