基于深度学习的人脸表情识别研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:yue09898
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
表情在自然人际交往过程中占据重要的地位,与语言文字相比,表情所传递的情感信息更为有效直接,特别是面部表情,是人类最富表现力的情感表达方式。将人类这种交互中情感认知能力用于计算机,使计算机通过对人类用户对象的情感状态的分析识别推断人的心理状态,从而实现自由和谐的智能人机交互,如虚拟教学系统中虚拟教师对学生学习状态识别、驾驶员驾驶状态识别等,为计算机的人性化服务提供基础。然而,自动化的面部表情识别虽然已有十多年研究历史,但由于表情自身表达的复杂性、多变性,加之所获取的面部表情图像常存在包括不同人面部表观形状、头部姿态、光照和遮挡等多种因素的影响,其研究仍然是一个非常具有挑战性的任务。目前随着深度学习的兴起,学习对象的多层特征表述形式,提高了对复杂对象的表示能力,本论文旨在将深度学习算法应用到人脸表情识别,提取更具有可判别能力的多层表情特征,提升表情识别效果,为深度学习算法应用于表情识别提供有效的研究方法。另外研究人脸表情识别涉及机器学习、模式识别、图像处理、生理学、认知科学等多学科的技术,是视觉图像处理和智能人机交互研究的热点,课题具有一定理论研究意义。  本文对深度学习方法探讨的基础上,针对深度超限学习机进行了研究,提出了深度收缩学习机和提升表情相关特征提取的收缩判别分析方法,实现从表情图像中识别情感状态。主要的研究工作和创新点如下:  1.表情图像库的采集工作。通过实验室采购的多个高清摄像头和单个Kinect深度数据采集设备,从多个不同角度采集受试者做出面部表情和上肢动作。本文主要完成了多摄像头的数据同步采集和录制程序编写、采集界面设计以及可以激发受试者做出各种表情的图案、题目及视频等题材设计。本文在做表情图像实验时只使用了采集到的人脸的正面图像,同时也包括在不同姿态、光照和遮挡的条件下的表情图像。面向表情数据标定,本文完成了基于图像和深度数据的面部特征提取,提出利用骨架模型结合认知常识,实现部分反映特定情感状态的手势识别。  2.研究并完成了深度超限学习机的训练模型框架。由超限学习机的高效训练方法代替传统单隐层前馈网络的反向传播算法得到启发,本文使用超限学习机的训练方法模仿自动编码机的无监督学习过程,将超限学习机的输入当做模型输出标签来训练模型来实现无监督的学习。根据自动编码机的理论,当设置合适的隐层节点数目时,由超限学习机学习到的输出权重矩阵中必然包含输入数据的有效特征表示。深度超限学习机是基于上述无监督超限学习机针对堆叠自动编码机的扩展,将多个无监督超限学习机堆叠起来,训练过程也是逐层贪婪地进行训练。在深度超限学习机中的最后一层将有监督超限学习机作为分类器。深度超限学习机通过新的训练方法多层次学习而自动学习得到对原始数据的不同抽象层的高层信息表示,然后对这些不同抽象层的表示进一步分类预测。本文通过一系列在基准数据库做实验表明,此算法不仅训练速度快,而且识别率也高于堆叠自动编码机、深度信念网等其他深度学习算法。  3.提出深度收缩超限学习机。深度收缩超限学习机是对深度超限学习机在人脸表情图像识别应用下的改进。收缩超限学习机是采用收缩自动编码机中添加的规则项,即对无监督超限学习机中编码阶段的激励输出的雅克比矩阵的F范数。该规则项可在图像局部空间提取更鲁棒的特征。相比堆叠收缩自动编码机和其他深度学习算法,深度收缩超限学习机训练时间非常快,而且通过实验表明针对人脸表情识别的准确率也有一定程度的提高。  4.提出新的基于深度收缩超限学习机的收缩判别分析。虽然深度收缩超限学习机可以提取鲁棒的特征,然而针对人脸表情识别仍是无法判别有关表情的特征和无关表情的特征,如面部的姿态、光照和形态变化。本文基于深度收缩超限学习机提出收缩判别分析算法,将表情相关的特征和与表情无关的特征分离的能力,所提取的特征具有人脸姿态及形变不变性,实验证明具有很好的鲁棒性和识别率。
其他文献
图像超分辨率重建是以一种软件手段增强或融合同一目标或场景的单幅或多幅低分辨率(Low Resolution,LR)图像获得一幅高分辨率(High Resolution,HR)图像的技术,它为后续的特征提
片上多核结构是使用丰富的片上资源的有效方法之一,是未来高性能处理器发展的一个趋势。本文主要进行片上多核结构的研究,具体的研究成果如下:   1.设计了片上多核结构:本文设
网络传输需求的快速增长推动着路由交换技术不断朝着高吞吐、大容量、可扩展的方向发展。近年来交换结构的研究热点集中在缓冲交叉开关与多级互连结构。由于具有分布式交换的
交通视频指的是交通监控系统将监视区域内的现场图像利用监控摄像进行记录并保存下来的图像序列。随着城市文明的不断发展进步,城市规模不断扩张,交通网络体系不断健全,智能交通
过去几十年编译器的优化主要使用的是人工调优的方法。随着计算机体系结构的不断发展,编译器的优化变得更加复杂。编译器人工调优的方法将会耗费编译器开发者大量的时间,而且
自1920年11月世界第一座广播电台在美国诞生以来,无线电广播在全世界得到广泛的应用。随着时代的发展,科技的进步以及媒体技术的日新月异,在初期打下的广大听众基础,现如今在新媒
ARP项目是本院“十五”期间重点建设的科研管理信息化支撑平台,其中ARP所级系统承载了本单位所有人、财、物、科研项目的管理信息及其主要业务流程。   ARP系统上线一年多,
性能模型研究一直伴随着存储系统的发展,为存储系统的配置、设计和改进提供了重要基础。IP-SAN逐渐成为重要的SAN构架,数量庞大的存储设备和丰富多样的工作负载使得智能化和自
近年来,在线社会网络以指数级速度飞速发展,已经成为世界各地人们生活的重要组成部分,为人们提供了一个思想交流和贸易经营的平台。目前流行的在线社会网络平台主要有人人网、Fa
随着半导体工艺技术的不断发展,集成电路的测试成本呈快速上升的趋势,其主要原因包括:1)电路规模不断增大和故障类型的增多使得测试数据量迅速膨胀,导致需要更大存储容量的自动测