人脸中蕴含着一个人年龄,性别,种族,身份,情绪和思维状态等丰富的信息。其中人脸表情尤其是一种重要的非语言沟通(Nonverbal Communication)渠道。人脸图像分析技术的研究目标是通过分析人脸图像,智能获取其中蕴含的信息。作为以人为中心的计算(Human-centered Computing)中至关重要的一环,人脸图像分析技术有着广泛的实际应用前景。在当前人脸图像分析工作中,主要研究对象局限在实验室环境人脸图像。实验室环境中的人脸图像在受控的成像条件下采集得到,突出了研究对象或研究对象的某些方面,有助于研究工作的定义和展开。但与真实环境中人脸图像相比,二者在很多方面有着显著的区别。在人脸图像分析技术被应用于实际场景的时候,这些区别显露出来,并成为制约系统性能的主要因素。针对这一问题,本文首先讨论了真实环境与实验室环境中人脸图像的三个主要区别。在此基础上,本文提出了相应的人脸图像分析算法,并讨论了算法背后的理论问题。本文讨论了真实环境中人脸与实验室环境中人脸图像三个方面的重要区别。1)二维投影与三维物体。实验室环境中研究的主要是二维图像,而真实环境中人脸以三维形体的形态出现。2)静态图像与动态过程。实验室环境中研究的主要是静态图像,而真实环境中的人脸处在连续的运动之中,有着丰富的面部动作。3)已知领域(Domain)与未知领域。实验室环境中人脸图像受到采集时对象,条件和环境的限制,图像局限在一定数据领域。研究工作也通常假定训练和测试数据来自同一分布,称为相同分布假定。而真实环境中的人脸千差万别,变化模式丰富,需要研究突破相同分布假定的算法。本文的第一个工作是提出了一种在低质量视频中重建人脸三维模型的算法。人脸三维模型可以帮助后续分析工作克服光照和姿态等因素干扰,是当前人脸识别和表情分析等应用领域的重要研究方向。我们结合图像匹配和形变模型方法的优势,在低质量视频中快速重建出人脸三维模型。主要贡献有：1)融合三维人脸数据集和待重建视频中的信息,在低质量视频中获得兼具有个性化特征和真实感的三维人脸模型。2)整套算法自动的在视频中检测人脸,拟合形变模型,生成重建结果。无需人工干预。3)重建过程执行时间短,计算代价小,对系统资源利用效率高。本文的第二个工作是提出了一种在视频中检测人脸表情事件的算法。当前人脸表情分析工作以静态图像检测为主。然而,人脸表情事件作为一个动态过程,有着起始,结束和时间上的延展。这个过程的各个方面都是传递信息的重要媒介。我们提出一种基于多任务级联(Cascade of Tasks)的算法,对表情动作的整个动态过程建模。主要贡献有：1)定义了帧检测,段检测和转换点检测三个子任务。这三个子任务覆盖了表情事件的各个方面。通过序贯的整合,我们可以完整的检测整个表情事件。2)提出了一种新的基于事件的检测结果评测指标。这种事件级的评测指标保留了帧与帧之间的时间邻接关系,更符合实际应用的需要,也更接近人的认知。本文的第三个工作是研究了人脸表情分析中的领域适应问题。目前主流的人脸表情分析研究工作中,训练数据与测试数据被假定来自同一分布。而真实应用环境下,测试图像与训练图像(实验室环境采集)往往差别明显。这些差别严重限制系统性能,不应该被忽略。本文在领域适应学习(Domain Adaptation Learning)的理论框架下分析跨数据领域训练和测试的场景,并在此基础上突破了相同分布的假定,提出一种具有领域自适应能力的表情分析算法。作为论文研究工作的最后一部分,我们给出一个实际应用的例子。本文将人脸图像分析技术应用于智能医疗领域,设计提出一套基于表情分析的抑郁症辅助诊断系统。该系统采用之前章节讨论的人脸图像分析算法,在问卷访谈视频中检测完整的表情事件,并自动适应受试对象的数据领域特征。在自动分析受试对象面部表情动作的基础上,系统在输入视频中标注出最值得注意的位置和区段,并给出抑郁严重程度预测。通过这两种形式的输出,系统实现了辅助专业医师诊断和评估的功能。同时,该系统将不同受试对象的数据汇集到一起,提取特征,发掘潜在数据模式。不同于以往研究中单一对象孤立分析,这种数据集层面上的分析手段为更好的理解抑郁症本身的研究提供了一种新途径。利用当前采集到的抑郁症访谈视频,我们做了初步实验分析。实验结果总体上与行为心理学中相关研究一致,二者相互印证。