面部表情承载着人类的情感信息,被视为是超越了种族和文化多样性的一种通用语言。深入研究人脸表情识别,有助于更好地理解人类的情感状态和心理活动,在人机交互中实现更智能的互动。动态表情序列蕴含了丰富的时空域信息,能够有效地反映面部表情的变化过程,因此基于视频的表情识别研究成为新一代人机交互系统的重要研究方向。人脸表情识别分为离散和连续两种表示模型,这两种情感模型在社会生活的诸多领域都有着巨大的应用价值。例如零售行业通过识别消费者购物时的基本表情,评估顾客对商品的喜好;在线教育行业应用连续维度表情识别监测学员状态,细化课程质量分析。本文研究了视频序列中的离散表情分类与连续表情回归问题,主要工作包含以下两个方面:(1)长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能。在CK+以及MMI数据库上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息。(2)辅助学习可以提高主任务的性能,但辅助任务往往需要手工标注,这会耗费大量的时间和人力。本文将连续维度(Arousal-Valence模型)情感估计作为主任务,离散情感分类作为辅助任务,提出一种自辅助学习的方法。该方法包含两个网络:标签生成网络用于自适应地创建辅助任务的标签,多任务网络用于主、辅任务同时训练以提高主任务的性能。两个网络之间以元学习的形式进行交互,通过迭代不断优化模型的性能。自辅助学习能够避免人工标注辅助任务,从而为一些不兼容辅助任务标签的数据集提供了借助辅助学习改善原任务性能的潜在可能。基于Recola数据集进行的评估实验验证了本文提出的连续维度情感识别算法的有效性。