微表情是一种持续时间短、动作幅度小且无意识做出的面部表情,它暴露了人们试图隐藏的真实情绪,微表情识别在谎言识别、心理诊断、商业谈判、国家安全等领域都发挥了重要的作用。现有的大多数微表情识别方法直接从微表情图像序列进行特征提取,主要包括基于光流的方法、基于纹理描述的方法和基于深度学习的方法,但是这些方法忽略了脸部动作单元（Action Unit,AU）中蕴含的情感信息,导致提取的特征可能包含与表情无关的冗余信息,如外观、身份等信息。另外,现有微表情数据库的样本量普遍较小,容易产生过拟合的问题,严重影响了微表情识别的准确率。针对上述问题,本文提出了基于多任务学习的代表性AU区域提取方法和基于跨模态四元组损失的微表情识别方法,具体而言,本文的主要贡献如下:第一,提出了基于多任务学习的代表性AU区域提取方法,构建AU掩膜特征提取的双流网络,其中一流提取微表情序列的全部AU区域,同时,通过另一流学习代表性AU区域,使用空间注意力和时间注意力模块辅助提取代表性AU区域,将提取到的代表性AU区域掩膜与原始微表情图像相乘,得到加权后的微表情图像序列。针对双流网络不同任务的特点,全部AU区域占图像的一半左右,因此在提取全部AU区域时使用交叉熵损失,然而代表性AU区域占图像的比重较小,因此在提取代表性AU区域时使用骰子损失。在MMEW、SAMM、CASME Ⅱ数据库的实验结果表明,本方法能够有效地提取微表情的代表性AU区域。第二,提出了基于跨模态四元组损失的微表情识别方法,将微表情样本作为锚样本,在微表情中选择与锚样本同类情绪的样本作为微表情正样本,将宏表情中与锚样本同类情绪的样本作为宏表情正样本,根据不同刺激强度对情绪的影响,选择与锚样本“相近”情绪的宏表情作为宏表情负样本,将选择的样本构成跨模态四元组,这大大扩充了训练样本的数量,加快了网络的收敛速度。本方法首先将原始的微表情序列输入AU掩膜特征提取网络,提取微表情序列的代表性AU区域,然后将加权后的微表情图像序列送入包含非局部模块的3D-ResNet网络中,非局部模块增加了高层网络的感受野,捕获了网络的长时依赖。网络训练过程中,损失函数为跨模态四元组损失和交叉熵损失的和,测试过程只计算交叉熵损失。本文采用被试独立的五折交叉验证法,在MMEW、SAMM、CASME Ⅱ数据库上进行了实验,证明了本方法能够取得较好的微表情识别结果。