抑郁障碍近年来广受关注,它使人情绪低落,甚至走向自杀,造成严重的不良后果。本文通过情感识别的方式,建立一个多源信息联合判决算法模型,运用该模型分析受试者的表征数据,对受试者是否患有抑郁障碍进行辅助诊断。主要工作如下:一方面,研究了基于深度学习的单模态抑郁障碍判决模型。考虑到抑郁患者临床表现的多面性,本文将对抑郁障碍患者的判决分为语音、面部表情和文本语义三部分。对于语音,本文以特征选择为改进方向,在特征选择的基础上,采用卷积神经网络进行深度学习,判决抑郁障碍;在面部表情方面,采用可以有效关注时间上具有关联性信息的长短时记忆网络来判决,在此基础上,进一步采用双向长短时记忆网络改进系统,使网络中的信息在任何时候都可以被有效地使用;在文本语义方面,本文将长短时记忆网络和卷积神经网络以双通道的方式并联起来,该方法可以避免在进程中丢失过多有效信息,也能同时关注到全局与局部特征。考虑到不同模态之间的差异性,三种模态分别使用不同的方法,使各个单模态的模型学习更加有效。在数据集DAIC-WOZ上,设计展开实验。实验结果证明:与其他模型相比,本文的基于单模态的模型的判决准确率提高了1%左右,验证了模型的优越性。另一方面,研究了多模态联合信息抑郁障碍判决模型。由于语音、面部表情和文本语义在抑郁情绪表达上存在的关联性,本文采用决策层融合的方法,对训练后的单模态抑郁判决模型进行有效融合,用于最终的情感分析和分类决策,针对每个患者,输出多模态抑郁障碍判决结果。该实验结果同其他研究结果相比,在男性和女性数据上将抑郁障碍的识别准确率均提高了5%左右,具有一定的优越性,充分验证了本文提出模型的有效性。实验结果表明,本文设计的抑郁障碍辅助诊断的多源信息联合判决模型可以对受试者是否患有抑郁障碍进行判决,并且信息融合后的判决准确率比单独通过语音特征、图像特征或是文本特征的单一网络判决准确率更高。本系统可以作为诊断抑郁障碍的辅助手段,具有高效性、便捷性以及实用性。