抑郁症作为现代社会最严重的心理健康问题之一,全球已达到3.5亿例,但患者总数仍在逐年上升。抑郁症会影响一个人的工作、学习和日常生活,严重的抑郁症甚至会导致自杀倾向。目前的临床实践完全依赖于自我报告和临床评估,存在一系列主观偏见的风险。随着情感感知和机器学习的发展,计算机辅助诊断在客观评估方面发挥了重要作用。近年来,研究人员通过利用面部表情、语言、脑电和眼动等行为和生理数据进行抑郁识别的研究。研究发现,单模态可能存在信息丢失或不全的情况,导致识别精度较低,而多模态融合分析可以将多种模态信息有效的结合起来,不同模态的信息相互补充、取长补短,可以克服单模态的缺点,提高抑郁识别的性能。面部表情是人类情感表达的重要方式之一,通过面部表情可以传达出人类情感状态的多种信息,瞳孔的扩张、收缩则也提供了对于抑郁识别的重要信息。因此,本文基于自我报告评估量表和医生的专业诊断,使用不同刺激类型的图像来诱导被试的情绪变化,最后同步得到面向抑郁被试和健康对照组的表情数据和瞳孔数据。在面部表情和瞳孔数据研究的基础上,本文进一步探讨了基于面部表情和瞳孔的多模态融合的方法。主要工作和创新点如下:（1）为了构建有效的抑郁识别模型,本文进行了数据采集和处理工作。通过被试的招募、刺激范式图片的选择、眼动仪设备的研究等步骤,采集到了视频数据并用于后续的模型构建和训练等任务,该数据集是在正性、中性和负性三种刺激范式下进行诱导,分别记录了被试的面部表情和瞳孔的变化。本文利用该数据集开发和测试了基于多模态融合的抑郁识别算法,并希望能在抑郁症的辅助诊断方面提供帮助。（2）本文提出了一种基于频域的抑郁识别算法,该算法通过估计频域像素级变化来检测面部表情,运用带有滑动窗口的傅里叶变化提取表情在频域维度的特征,然后运用分类算法进行抑郁症的识别,与现有的算法进行了对比,实验结果表明,本文提出方法的分类准确率显著提高。与此同时,本文发现抑郁被试的表情幅值变化要整体高于健康对照组,进一步对比在同一时间段下,抑郁被试的表情幅值出现了明显的峰值且高于其他时间段,而健康对照组的表情变化整体在一个稳定区间内浮动,可以表明抑郁被试和健康对照组在刺激范式下的关注信息的不同。（3）现有的方法大多集中于提出不同的跨模态融合策略,然而,这些策略在没有充分考虑模态信息之间的互补特性的情况下。同时,在不同模态的特征中引入了冗余性,而这种方法并不能保证在模态内交互过程中原始语义信息的不丢失,本文提出了一种基于自注意网络的跨模态融合（Cross-modal Fusion Based on Self-attention Network,CMF-SN）,该算法结合表情数据和瞳孔数据,提取了模态内和模态间的信息,构建融合模型进行有效的抑郁障碍的诊断。本文首先分别对表情模态和瞳孔模态进行表征学习,利用残差网络获得表情序列的时空结构特征和一维CNN获得瞳孔特征。其次,将上述两模态特征分别输入跨模态融合模块,使两模态通过自注意机制进行模态内特征选择,使所选特征在模态内特征能够进行有效的交互,与此同时,使用自注意网络对两种模态数据分别进行模态间的特征选择,最后将得到的特征全连接进行抑郁症的识别。消融实验结果表明,本文所提出的跨模态块,充分考虑了不同模态的互补信息,并充分利用了模态间和模态内的交互作用来完成特征的传递,自注意机制和残差结构的加入可以保证信息交互作用的有效性和完整性。（4）本文进一步探讨并验证了表情和瞳孔数据在决策层的多模态融合。首先,利用前文提出的算法进行表情特征的提取,以及在时域和频域两个维度提取瞳孔的特征。其次,运用常用的几种决策层融合的算法在两种模态上融合来进行抑郁分类性能的验证。实验结果表明,决策层的多模态融合模型的分类准确率达到77.8%,高于单模态的分类准确率,说明了面部表情和瞳孔融合分析在抑郁症识别中的有效性。综上所述,本文基于表情和瞳孔对抑郁的识别进行了一系列的探索,提取了抑郁被试和正常对照组的表情特征和瞳孔特征,在单模态和多模态两个方面进行抑郁识别的研究。通过对特征层数据的分析,提出了一种基于自注意网络的跨模态融合模型,该算法可以达到对模态内和模态间的全面考虑,防止信息的丢失。本文也考虑了在决策层的数据融合,实验结果表明,多模态融合的结果要优于单模态,提高了抑郁识别的准确率。