抑郁症是一种以情绪低落为主要临床表现的心理精神疾病,对患者的心理和生理易造成很大的伤害。近年来,抑郁症患者人数逐渐增多,引起了国际社会广泛的关注。抑郁症患者声音低沉、缓慢,面部悲伤表情较多,异于常人。因此,捕捉提取抑郁症患者的声学特征和图像特征,并且使用计算机算法进行分析,已成为近几年的研究热点。本论文设计并实现了一个基于深度神经网络的抑郁症检测系统,主要工作如下:1.搭建抑郁症患者问诊音视频数据库,对抑郁症患者的语音数据进行预处理,并提取声谱图作为特征。对抑郁症患者的图像数据进行预处理和数据扩充,使用DeepFlow算法提取视频的光流帧。2.网络实现方面,采用具有通道权重自更新的模型进行基于语音的抑郁症诊断。提出双流网络作为基于图像的抑郁症分类模型,分别使用原始图像和光流帧作为网络输入,并采用合适的网络训练方法。3.提出融合语音与图像的抑郁症诊断方法,针对每个患者,输出多模态抑郁症诊断结果。实验结果表明,本文设计的计算机辅助诊断抑郁症系统可以对抑郁症患者抑郁等级进行分类,并且经过决策融合的分类准确率比使用语音特征或图像特征的单一网络准确率更高。本系统可以作为诊断抑郁症的辅助手段,具有高效性、便捷性,并且不受时间空间的约束,可大大提高医生的诊断效率。