论文部分内容阅读
情感是人类或者动物对于外部客观体验的主观感受,表情便是用来传递情感的外在表达方式。面部表情、言语声调表情与姿势体态表情是表情的三种主要表现形式。其中面部表情是指通过控制面部、眼部、嘴角等肌肉群来传递人们内心的各种情感状态,它不仅可以传达人们内心的真实情感还可以进行思想的无声交流。由此可见,在人际交往中面部表情是一种非常重要并且高效快捷的非语言方式。在人机交互领域,人脸的面部情感识别与分析有着极其重要的应用与研究价值。试想倘若计算机能够读懂人脸的面部表情,那么计算机对于人类而言将不再是冰冷的工具,它可以通过解析人脸的面部表情做出相应的反应与决策,从而使得计算机更加智能化。人脸情感识别技术赋予了计算机感知和理解人类情感的能力,对于智能家居、智慧城市等相关人机交互领域有着积极的推进作用。然而由于人脸表情的内在特性,对于计算机而言使用传统的方法直接对人脸表情进行分析与识别存在着不小的技术挑战与分析障碍。表情是人类内在真实心理活动的自然流露,这些被深深埋藏于心底的抽象情感是难以进行精准量化的,因此想要使用计算机对人脸表情进行特征的量化提取是十分困难的。也正因为如此,不能够简单的把人脸情感识别归类于图像分类问题,而应该着重研究如何提取出表情的抽象特征以便计算机可以进行识别与分析。近些年来,随着机器学习与深度学习的快速发展,各种类型的神经网络模型如深度卷积神经网络,生成对抗网络等不断地被提出,帮助研究者们在图像识别与检测领域又找到了新的突破口。在本文中,为了解决使用传统图像特征提取方法对人脸表情进行特征提取困难的问题,提出了了一种基于集成学习与深度学习的识别算法。选取三个结构互不相同的子网络模型并依次进行独立训练,根据它们在验证集上的表现分配不同的权重值,并使用加权投票法将三个子网络模型融合在一起构成最终的集成网络模型。在训练阶段,本文采用了二重数据增强技术,在保证数据分布均衡的同时又增加了训练样本的数量。在测试阶段,为了进一步提升模型识别准确率,本文提出了一种新的测试方法。此外,一种GPU并行计算方法被运用于测试阶段,以此来提高模型在识别过程中的计算效率。本文分别在Kaggle数据集,Jaffe数据集与AffectNet数据集上进行了模型的训练与测试,并在这三个权威数据集上分别取得了71.91%,96.44%和62.11%的识别准确率,接近甚至超越了人眼在上述三个权威数据集上的识别准确率,并且所设计的集成模型比其内部单个子模型识别准确率提升约2-3%。