情感识别是计算机视觉、模式识别等领域的研究热点,并随着人工智能和深度学习技术的发展,受到了广泛研究者的关注。表述情感的方式各种各样,其中语音和表情是两种最直接、最可靠的情感载体,结合语音和表情的多模态情感识别方法研究具有重要的现实意义。针对说话人、说话风格、环境等其他与情感无关因素影响导致语音情感识别准确率低的问题,给出了基于注意力模型和卷积神经网络的语音情感识别算法。利用卷积神经网络对图像的处理能力以及对时间序列数据时频特征有效的提取能力,将静态、一阶差分、二阶差分的Mel频谱作为神经网络的输入数据,再利用注意力模型识别和删掉静音帧和情感无关帧,保留有效的情感信息,最后通过Softmax分类器进行语音情感分类。通过在IEMOCAP和Emo-DB数据库上进行实验得到89.25%和88.57%的识别准确率,与在IEMOCAP数据库上识别率最高的基于多核学习算法融合音频特征得到84.52%的识别率相比,本文算法提高了4.73%;与在Emo-DB数据库上识别率最高的基于BP神经网络进行特征选择方法得到86.11%的识别率相比,本文算法提高了2.46%,为下文提高多模态情感识别准确率做准备。针对声音易受到周围环境噪声影响而导致识别率低的问题,利用不同模态情感信息的互补性,给出了融合语音和表情的多模态情感识别方法,分别采用特征层融合和决策层融合策略对语音和表情信息进行融合,并对传统融合算法进行改进,给出一种特征层和决策层双融合的多模态情感识别算法,不仅保留了不同模态情感信息之间的差异性,还保留了情感信息之间的相关性。在e NTERFACE’05多模态情感数据库上进行实验,识别效果可达89.3%,与目前识别率最高的基于核空间特征融合方法得到的83.92%的识别率相比,本文算法提高了5.38%的识别准确率。