随着人机交互的逐渐发展,语音作为快速、直接的交流方式,使机器理解语音交互过程中的情感变得更加迫切。由于语言差异、记录语音的环境不同、语音有效情感特征的不确定性和语音存在的噪音等导致富情感的语音特征缺乏有效的提取影响了语音情感识别的效率和有效性。基于机器学习的语音情感识别方法,只能提取特定的特征集作为模型的输入。基于深度学习的语音情感识别可以避免上述特征工程,并自动提取语音特征,但这些大量的语音特征会使模型的识别效率降低,富情感的语音特征得不到有效的提取。本文旨在对特定特征的提取和融合,并基于深度学习算法,研究具有较强泛化能力、高效的语音情感识别方法,并将语音情感识别应用于人机对话系统。在语音情感识别中,有效提取富情感的语音特征是情感识别成功的关键。本文提出互补特征提取方法,并对该方法的有效性进行验证。在语料库方面,语料库是验证方法可靠性的重要元素,本文基于两种常用语料库和一种较新的语料库进行模型的训练与验证。在情感识别算法方面,高效的分类模型算法决定了语音情感识别方法是否有效。本文结合三种语音情感识别语料库,完成特征提取后,将其作为深度学习识别模型的输入。深度学习模型采用了高效的卷积神经网络进行构建,网络结构共有六层卷积层,两层全连接层。每层卷积层后面都采用批处理进行归一化,并调节网络的稀疏性。在语料库对模型进行训练及验证过程中,对互补特征提取方法进行了消融学习,得到的相应结果与三种基线方法进行了对比。经过实验,本文提出的语音情感识别方法优于基线方法,证明了互补特征提取的有效性和深度学习模型的优越性。本文将语音情感识别应用于人机对话系统,结合富情感的人机对话系统,构建了基于Web的对话系统。将语音作为系统的输入,对输入的语音进行情感识别,得到的对应情感结合在线语音识别方式成功将语音情感识别应用于人机对话系统,证明了语音情感识别应用于人机对话系统具有应用研究价值。