随着人们工作压力的不断增大,对心理健康识别的要求也越来越高。心理的表现形式具有多样性,且传统的依靠专家的心理健康测评模式存在一定的主观偏差,因此本文提出基于面部、语音和步态行为特征的识别模型,实现对心理健康状态的智能化识别,以减小主观因素对识别结果的影响。本文通过使用多模态融合的方式获取综合特征,从而提高心理识别模型输入端信息的丰富度,并在特征融合时引入注意力机制给各个模态特征赋予权重以提升融合效果。本文使用低通滤波的方法对原始的面部和步态视频信号进行去噪,同时采用维纳滤波的方法对语音信号进行降噪,经过预处理后得到规范化的面部数据集合和语音数据集合(1以及步态数据集合。接下来使用Open Pose算法捕捉面部数据和步态数据(1中每一帧图像的眼睛、鼻子和嘴巴等面部关键点以及手肘、膝盖等步态关键点,从而获得面部和步态模态的结构特征,得到面部关键点集合(8以及步态关键点集合(8。同时使用open SMILE算法提取出语音信号中的短时能量、基音频率、共振峰以及梅尔频率倒谱系数等语音低级描述因子。由于一般的模式识别无法直接处理面部和步态关键点以及语音低级描述因子这些原始特征,且这些数据都不能直接用于分类模型的建立,因此,本文通过计算上述原始特征的时域统计参数,分别得到面部特征矩阵10)（6）和语音特征矩阵(110)（6）以及步态特征矩阵10)（6）,从而提取出可供分类器使用的信息作为特征值。接着对上述特征进行降维处理以去除相关性较小的特征向量,并采用注意力机制的方法对多模态特征进行融合:首先将面部、语音和步态特征进行级联融合得到融合特征,再引入注意力机制计算每个模态的注意力系数,接着将各个模态的特征与其对应的注意力系数相乘并进行二次级联融合,得到最终的多模态融合特征(（6）。最后将融合特征(（6）送入支持向量机并对分类模型进行训练,最终得到10个支持向量机分类器分别用于抑郁、偏执和焦虑等10种不同的心理健康状况的识别。本文主要在面部、语音和步态三种模态信息的基础上,构建了多模态融合心理健康识别模型。针对单模态识别方法和直接级联融合方式中存在的缺点,提出引入注意力机制的多模态融合方法来进行心理健康模型的构建。本文的数据集由广东省电力科学研究院职业卫生所对680位广东电网职工进行采集所得,采集的内容包括面部、语音、步态和心理健康信息。通过在数据集上的对比实验,验证了本文所构建的心理健康模型具有更高的识别准确率和更稳定的性能。