基于时空多特征融合的动态人脸表情识别算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:yyxgxgxg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在情感计算中,通过面部表情进行情感识别被视为反映人类内心情绪状态的最直接和有效的方法。然而,由于人脸表情变化是一个细微-峰值-细微的动态过程,而且单一表情特征具有局限性,因此基于多特征融合的动态人脸表情识别(Facial Expression Recognition,FER)算法受到研究者们的青睐。动态人脸表情识别的一个关键问题是如何从图像序列中设计有效的特征提取算法并将其进行特征融合,从而提取具有代表性的时间和空间信息,进而提高表情识别准确率。本文从多种类型的特征提取和特征融合方面开展基于动态人脸表情识别的研究工作,具体包括:(1)提出了一种新的时空纹理特征提取算法:改进的三个正交平面的局部二值模式(Improved Local Binary Pattern from Three Orthogonal Planes,I-LBP-TOP)算法。该算法对原始LBP-TOP算法中三个正交平面上的LBP统计直方图分量的贡献度进行分析,用新的分量替换贡献度较低的分量,弥补了原始LBP-TOP算法在特征提取方面的不足,并且可以同时获得图像序列的静态纹理和动态时间信息。实验结果表明,相较于原始LBP-TOP算法,I-LBP-TOP算法在CK+和Oulu-CASIA数据集上的表情识别准确率分别提升了 3.56%和5%,而且在计算速度以及不同分类器上的识别准确率方面,I-LBP-TOP算法的性能也均优于原始LBP-TOP算法。此外,与其他两种LBP-TOP改进算法(时空LBP+Gabor算法和LGBP-TOP算法)相比,I-LBP-TOP算法的表情识别准确率均有提升。(2)提出了一种新的人脸几何特征的表达方式,将表情峰值帧中与人脸表情相关度较高部位的关键点坐标作为图像几何特征,从而获取面部表情变化的相对位置信息。同时,将该特征扩展到时间维度作为时空几何特征,进而得到表情变化的时序信息。在CK+和Oulu-CASIA数据集上的实验结果表明,本文提出的几何特征提取算法可以满足识别准确率高的要求,而且时空几何特征提取算法的识别准确率优于现有几何特征提取算法,在CK+和Oulu-CASIA数据集上的平均识别准确率分别提高了1.98%~4.22%和0.41%~4.21%。(3)设计了 一种将时空运动特征(包括I-LBP-TOP直方图特征和时空几何特征)与静态纹理特征(Gabor幅值特征)相结合的表情识别模型。该表情识别模型分别对三个单一特征采用多核支持向量机(Support Vector Machine,SVM)训练得到基分类器,同时为突破单一特征的局限性并且有效实现多特征融合,在决策层采用集成学习的多数投票法(Majority Voting,MV)以实现最终分类。在CK+和Oulu-CASIA数据集上的实验结果表明,基于决策层的特征融合算法可以实现比单一特征更好的效果,而且与现有的人工特征融合算法以及某些深度神经网络算法相比,该算法的表情识别准确率也有相应提升,在CK+和Oulu-CASIA数据集上的平均识别准确率分别提高了0.75%~8.41%和1.05%~5.83%。
其他文献
我们将因无线电频率受到干扰、设备发生问题而引发的,导致无线电信号中断等因素造成的突发事件(事故),以及其他具有重大社会影响的破坏事件,统称为无线电突发事件。在信息化的大背景下,无线电技术的应用越来越多,由此发生的突发事件数量不断提升,极大可能导了国内移动通信、广播电视、航空以及道路交通行业的正常运转受到了巨大影响,甚至有部分不法分子,利用对于无线电传输的破坏来传播反对言论以及从事其他类型的违法犯罪
学位
电能的稳定供给是国家经济发展的基础和命脉,配电过程是向用户分配电力能源的过程,配电环节对电能转换和再分配起着重要作用。配电设备是配电环节的关键节点,监测配电过程中配电设备的运行状况至关重要。配电场景中配电设备的数显仪表的监测工作,是配电设备监测的一项重要任务。数显仪表是没有数据通信功能的,计算机不能自动获取数显仪表的读数信息,因此传统上采用人工巡检的方法进行监测,即巡检人员定期进入配电室内对配电设
学位
在数据可视化及艺术设计相关领域,色彩作为信息传递的重要方式引起了越来越多研究人员的重视。在数据可视化设计过程中,设计师在给作品上色时,通常会先构建一组离散调色盘数据。离散调色盘对设计结果的视觉感知起重要作用,优秀的调色盘能够使作品层次分明,过渡自然且具备一定的视觉美感,而随意设计的调色盘往往由于用色混乱导致作品色彩冲突,或由于用色单调导致作品审美乏味,还可能因用色差异小而导致数据内容无法得到清晰有
学位
烟火无情,这一点在关乎国计民生的电力领域体现的尤为明显。烟火一旦蔓延开来,轻则引发短路跳闸,重则烧毁各类设备,引发重大停电事故,威胁人民生命财产安全。如果能在烟火隐患发生初期及时发现并处理,则可以有效规避严重后果的发生。目前电力领域主要采用人工巡视、烟雾探测和人工视频监控等传统手段进行防控,这些方法存在准确率低、时效慢等问题。因此,为了解放人力、提升工作效率,研究面向电力领域的高效便捷的烟火识别技
学位
改革开放以来,我国经济发展经历了恢复发展、高速发展等几个阶段,现在迈入调结构、增动力的新阶段。为此,如何继续推进经济改革,促进经济发展成为社会各界关注的焦点。国企作为中国经济的顶梁柱,进行混合所有制改革具有历史必然性和重要现实意义,这是顺应多种所有制共存和市场经济发展而出现的一种具有生命力的改革形式。通过引入不同的资本成分,混改给国有企业带来了股权结构优化的契机,使股权结构组成更为科学合理,而这是
学位
在经济体制改革过程中,国内获得了诸多方面的成就。然而,通过对县域经济发展情况进行分析也能够看出,在城镇化进程中出现了诸多方面的问题,主要体现在土地承包经营权继承等方面。以上问题的存在获取了社会的高度关注。在2018年所颁布的土地承包法修正案中,提出了三权分置措施。对于该政策而言,实际上是基于两权分离所提出,对土地承包经营权进行划分以后,将其分为两种,即土地经营权、土地承包权。然而,不管是从政策方面
学位
Y县7900000政府服务热线以市长热线(12345)服务专线为基础,收集全县各部门专线等各类非紧急类政府服务专线信息并逐步纳入热线中心,进而为人民群众提供更多的公共服务。随着服务内容的不断增加,该县相关职能部门推出了政务热线服务平台,平台功能非常完善,能够了解群众诉求,把为民服务落实到实处,在政府联系及服务群众等方面发挥重大桥梁作用。不仅能够及时、准确为群众提供服务,还能在提供良好服务的同时,了
学位
作为社会的重要组成部分,社区可以看作是一个个构成社会的细胞,社区建设的好坏直接关乎了社会主义和谐社会的建设结果,对社会的进步与发展具有重要影响,因此社区治理研究已经成为社会各界关注的焦点。对于学术界而言,学者们纷纷对社区治理展开研究,期望通过社区治理的研究,探索有效的治理模式,加快社区建设发展,进而推动社会整体进步。学者们研究发现,社区居民作为社区治理的重要主体,对社会区治理结果产生重要的影响,对
学位
农民专业合作社是农民在家庭承包经营基础上,形成的一种互助经济组织,一定程度上能够降低农民采购的成本,并通过生产经营分工提高农业生产的效率,有利于推动农民收入水平的提高。作为推进农业现代化的重要组织载体,农民专业合作社的发展离不开政府支持;农民专业合作社政策支持体系也是“三农”政策的重要组成部分。当前农民专业合作社发展还处于初级阶段,针对农民专业合作社发展的政策支持体系展开研究,既是农业政策的需要,
学位
我国已全面进入小康社会,实现“老有所养”充分彰显了党把人民放在一切事物发展中心的思想,同时也显示了民生情怀。我国的特困供养是有着中国特色的一项基本的权益保障制度,经济实力的不断增强和保障制度的逐步完善带来我国特困供养的标准的逐年提高,特困供养人员的生活水平也随之得到较大提升。但笔者发现,特困供养各项政策的设置主要针对在各类养老组织生活的由国家统一集中起来供养的老年人,分散在家居住的特困供养老年人的
学位