随着人工智能和深度学习的发展,人机交互领域越来越注重情感表达,而语音作为表达情感最直接的方式,是实现自然人机交互的重要前提。如何让计算机自动识别人类情感和如何利用深度学习自动提取有效表征语音情感的关键特征是如今研究的热点。本文结合目前流行的深度学习网络构建语音信号特征提取和情感识别的模型,重点寻找有效表征说话者情绪的高级情感特征和模拟人类注意力机制去识别情感。主要工作如下:（1）针对语音情感识别任务中特征提取单一、分类准确率低等问题,给出一种基于时频特征融合的情感识别算法。本文计算语音信号的Log-Mel特征和一阶差分、二阶差分特征,合并成3-D Log-Mel特征集。将3-D Log-Mel特征集输入到BCNN-LSTM-attention网络中提取频域特征,将语音划分等长度片段输入到CNN-LSTM网络中得到时域特征,融合频域特征和时域特征。在IEMOCAP和EMO-DB数据库上实验证明,特征融合算法与提取单一频域特征或时域特征算法相比识别率提高。（2）保留（1）中提取的3-D Log-Mel特征集,给出一种基于自身注意力时空特征的语音情感识别算法,对关键的时空依赖关系进行建模。利用双线性卷积神经网络、长短期记忆网络去自动学习语音信号的最佳时空表征。引入多组注意力机制,探索语音中的关键帧信息。在IEMOCAP和EMO-DB数据库上实验证明,时空特征融合算法与单一的空间特征或时间特征算法相比识别率提高,同时多组注意力机制提高了整个系统的性能。（3）给出一种在线语音情感识别系统设计,将基于自注意力时空特征模型应用到语音情感识别系统中,所有功能模块通过EXE可执行文件的调用实现,实验结果证明了本文提出算法的优越性和语音情感识别系统的有效性。