近些年,深度学习等技术的巨大成功推动了计算机视觉的快速发展,在计算机视觉中有关图像识别,图像分类和识别的问题一直是研究的热点领域。本文的研究课题基于多方法的面部动作单元识别也算作图像识别视频分析中的一个小分支,针对之前算法识别准确率还不够高的现状,文章主要以提高面部动作单元识别效果和效率为目的,重点放在面部动作单元识别的方法论上面。文章绪论部分首先介绍了面部动作单元识别研究的背景,意义和现状。第二部分主要是阐述面部动作单元识别的基本理论;首先按照图像识别的通用做法出发,包括数据预处理,特征提取,分类器设计等做法;考虑到面部动作单元识别是与人脸相关的问题,在基本理论中还涉及到人脸位置对齐以及像素等的预处理。第三部分直接切入主题,针对面部动作单元识别这个问题,基本复现了用传统特征来做识别的方法,具体而言就是HOG+SVM来做面部动作单元识别,分两部分具体介绍了HOG特征和SVM分类器,紧接着就是实验参数设计和结果分析。第四部分,基于之前传统特征方法做面部动作单元识别准确率不够,由于深度学习增加了网络层数极大提高了特征学习能力,我们在这里引入深度学习,由于考虑到图像数据之间时间的依赖关系和像素之间的空间位置两方面因素,CNN+LSTM成为我们的选择,在具体实施上面,一个8层的网络结构和LSTM单元被提出,然后针对这个大致雏形在实验阶段对每一层参数设置给出解释说明,最后结果显示也确实有优化了不少。第五部分,考虑到前面用CNN+LSTM识别的时候网络是自己设计,这会带来网络收敛慢,并且考虑到直接用LSTM学习神经元之间的时间依赖关系进而反应帧和帧之间的关系是否妥当,在这一部分,我们首先将帧和帧之间的依赖关系表示成光流图像,然后提出用了双路的CNN网络来识别面部动作单元,并且对结果投票综合.在实验阶段我们对数据标签进行了重编码来满足我们要求,借助训练好的Google Net来微调大大提高了时间效率,并且对光流的提取采用不同的间隔来做实验,得到的结果准确率上也有改进。最后一部分,我们对面部动作单元识别问题进行了总结和展望.针对我们问题,给出了设想,如果能够连续几帧的一个短视频给一个标签,我们可以引入视频行为分析,分段网络TSN,视频关键帧等方法。