快速发展的计算机技术促使在现实生活中人机交互存在的场景不断增多,而人脸表情作为人类情绪变化的直接载体,属于一种在社会交流中不可或缺的非语言信号,相较语言信息与文字信息,由人脸表情直接获取的数据更具有真实性。因此,对人脸表情信息的准确掌握能够有效推动未来计算机对人类情感的理解能力。相较传统机器学习方法,深度学习方法具有抗干扰能力更强及迁移能力较好的优点。本文将基于卷积神经网络的深度学习的方法应用在人脸表情识别任务中,通过优化特征提取方法实现了多尺度信息交互从而解决了常规卷积神经网络在表情识别场景下较难提取有效表情特征、较易受到背景信息干扰等问题。本文完成的主要研究工作如下:1.研究了一种基于深度加权卷积神经网络的人脸表情识别方法。由于部分表情类别的面部动作单元相似性较高,使得无论是在自然情况下拍摄还是实验场景中采集,面部表情数据始终存在小样本类别,如轻蔑、厌恶类等。该类表情在严格意义上拥有多标签属性,因此在训练过程中将受数据量不均及特征差异不明显的影响,模型对这类表情的理解始终存在偏差。本文利用不同深度下的卷积核特征提取能力的差异性,在网络输出端构建了深度权重计算单元,将分类标签量化后转换为权重加载在网络后端,使得网络的最终决策同时受多层特征提取器的直接约束,从而实现了融合多尺度输出结果来提升模型对小样本表情类别的学习能力。2.研究了一种在特征提取端融合多尺度信息的支路辅助学习网络。除了调整模型的输出约束方式,模型的特征提取性能将会直接影响模型的优劣。在提取人脸表情特征时,网络需要同时关注浅层特征中的全局信息以及深层特征中的细节信息,而传统多尺度融合方法会造成大量的信息冗余,使得网络对背景信息抑制能力较差。针对这一问题,本文提出支路辅助学习网络:在基础网络输入端引入特定的轻量级网络作为支路辅助网络,然后,通过特征映射模块将支路信息作为掩膜单向传导至基础网络,以提升基础网络对全局信息的理解能力。本文在FER2013、CK+和MMEW数据集上进了测试,结果表明,该方法有效提升了基础网络的性能,在验证集得的总识别准确率分别提升了3.49%、2.2%和1.48%。最后,本文结合该方法及点分布模型特征,设计了一种疲劳状态检测系统,该系统能够通过捕捉到的视觉信息实现判断受试者是否存在疲劳状态。