语音情感识别的目标就是模仿人类的感知机制,最主要的任务就是从一段语音信息中,提取和情感有关的特征,然后对这些特征使用特定的模型进行计算,最终获得每段语音的情感结果标签。在该问题背景的基础上,本文进行以下研究:1、语音特征的提取:MFCC特征的缺点是忽略了特征之间的高度相关性。特征之间的相关性会被深度学习的网络结构更好的去提取,使得模型得以更好的训练。针对这一缺点,本文提出使用log fbank特征。log fbank更好的保存了特征之间的相关性,更适用于基于神经网络的模型。经过实验获得了比MFCC更好的效果;同时使用一阶差分和二阶差分保留时频谱中的动态信息,辅助信息进一步提高模型的识别准确率;并尝试试验了不同的特征组合方式,找出得到最优实验结果的方式;在此基础上进一步对CNN卷积来获取更深层次特征进行研究,并展示了比原实验效果更好的表现。2、自注意力机制研究:语音作为输入也有自己的时序信息。对于某一帧语音,它前面或者后面会有某一帧或几帧语音上的滤波器特征对该帧有一定的影响,针对这样的结构,本论文提出了自注意力机制模型来对特征进行训练。针对时序信息使用自注意力(self-attention)机制去抓取相关权重信息,并摒弃了RNN单元,这样可以极大利用GPU的并行性去提高训练的速度;同时在模型的基础上做了一些创新,借鉴NLP领域让模型自行学习词向量的方法,使用位置向量矩阵算法去获取序列的相对位置信息;并将注意力机制获取的信息进行更深层次的一维卷积;3、胶囊网络模型研究:胶囊网络和注意力机制在原理上有着相似之处,都会计算各层表示,胶囊网络的存在概率可以等同于注意力机制的注意权重等,论文针对他们的异同点进行研究,认为胶囊网络是一种特殊的注意力形式,并研究了胶囊网络对情感识别的影响,结果发现胶囊网络对情感识别也有一个不错的效果。