情感是认知过程中重要的一环,使计算机像人一样具有感知各种情感的能力,是人工智能领域的一个全新课题。语音情感识别（Speech emotion recognition,SER）是情感识别领域的重要研究方向,旨在让计算机能够领悟人的情感,实现人与机器之间的顺畅沟通。但语音情感识别领域当前存在诸如:缺乏有效的情感特征集、缺乏有效的情感识别模型等问题。本文从提升语音情感识别模型的识别性能出发,进行了基于深度学习的双融合语音情感识别系统设计,主要贡献如下:（1）特征融合具有更好的分类性能。构建了基于循环卷积神经网络（Recurrent convolutional neural network,RCNN）的SER模型,并使用韵律特征、谱特征、韵律特征和谱特征的融合特征分别在CASIA数据库中进行实验,研究不同特征组合的性能,分析表明韵律特征和谱特征的融合特征具有更好的分类性能。（2）提出多个语音情感识别模型。首先,基于全局平均池化（global average pooling,GAP）可以减少计算复杂度降低过拟合风险的特性,构建了RCNN-GAP模型;其次,通过减少RCNN深度并添加深度神经网络（Deep neural network,DNN）来降低梯度消失的风险,提出了DNN-RCNN-GAP模型;最后,利用注意力机制能够关注更多情感相关信息,提出了DNN-ARCNN-GAP模型,在EMODB数据库中验证了该模型的泛化性,并基于该模型搭建了SER系统。（3）利用决策融合和模型融合进一步提升系统性能。为了进一步提高模型的情感识别率,采用未加权投票法和Stacking算法分别进行决策融合和模型融合实验,并验证两种方法的情感识别率。实验证明,本研究所提出的4种SER模型——RCNN模型、RCNN-GAP模型、DNN-RCNN-GAP模型、DNN-ARCNN-GAP模型在CASIA数据库上分别取得了80.44%、81.25%、83.33%和84.58%的识别率,决策融合和模型融合可以进一步提升情感识别率,证明了本研究所提出的SER模型具有良好的性能。