随着人工智能技术开始从技术实现层面向应用实现层面转换,我们希望人工智能能够理解人类的情感并作出回应,情感计算能够通过画面、声音、文本等方式更好的判断人物情绪,让机器能够在一定应用环境下明白用户的意图,作出相应的理解及回应或者模拟人类的情感,这将促进视觉理解、人机交互技术在场景应用层面的发展,同时也将反向提升人工智能技术基础算法水平。情感计算的第一步是情感识别,情感识别研究的形式主要分为:文本、声音、面部表情、身体姿态、人体生理信号等,其中,面部表情在日常交流中扮演着十分重要的角色,它是人内心的直观反映,会传递出丰富的信息,比如说话人的情绪、心理感受、态度意图等等。因此选择面部表情作为情感识别的研究手段更为直观,收益也更多。面部表情识别一直以来都是计算机视觉领域的研究热点问题,目前大多数人主要研究复杂环境下的表情识别问题,虽然基于深度学习的方法对这一问题的研究展现出了比较好的效果,但目前仍没有突破性的进展,其中存在的问题主要有:自然环境下自发的面部表情数据难以采集,数据集的标注存在很大的主观性、以及用于表情识别的网络模型过于单一。基于以上挑战,本文在表情识别数据的收集、表情识别网络模型的改进以及多特征多模态融合等三方面对以上难点进行改善。首先,本文介绍了常用的表情识别数据集,综合评价了各个数据集的优点及不足,并针对这些不足之处,建立了新的自然环境下的多模态表情识别数据集HEU-Emotion,讲述了该数据集建立的过程包括表情数据的收集、处理与标注,并详细介绍了该数据集的数据分布与相关属性,目前为止,该数据集是数据量最大的自然环境下的多模态表情识别数据集。其次,针对目前无法在欧几里得空间中从面部关键点学习到特征的问题,本文将表情识别的任务转移到非欧几里得空间进行,首先提取人脸面部表情关键点,以关键点作为输入构建图结构,利用图卷积神经网络对构建好的图结构进行图卷积操作后再分类,这种图表情识别模型为基于面部关键点特征的表情识别研究提供了新的思路。针对目前表情识别数据集不均衡而导致的识别结果不均衡的问题,本文提出建立双分支和多分支卷积神经网络,针对一些数据量较少并且难训练的几种表情使用单独的分支进行预测,并针对数据的特点改进了损失函数,这种基于多分支卷积网络的表情识别模型的识别效果明显优于单分支网络。最后,本文将以上用图卷积网络提取到的面部关键点特征,以及用双分支卷积网络提取到的视频序列特征进行多特征融合,另外,还将声音特征与面部特征进行多模态融合,由于多种特征之间可以达到相互补充的目的,展现出更为丰富的信息,而人对于情感的表达本就是多模态表达的过程,我们通过表情的变化、通过声音音调的变化、通过姿态动作的改变来展示我们内心的情绪,因此将这几种模态进行融合确实符合日常生活中人类表达情感的逻辑。最终的实验结果也表明多模态融合的方法确实比单一模态的识别效果要好,这也将成为未来表情识别的主要研究方向。