随着人工智能的迅速发展,语音、文本、生理信号和面部表情的识别与分析越来越受到国内外学者的关注。除了各个领域内的研究,寻找跨领域的相似之处也逐渐成为科研工作者们关注的研究课题。在语音情感识别领域中,由于语音片段的特征多样、维度较高,因此许多研究工作的重点在于特征提取与数据降维的方法创新。但导致很难有一种泛化能力很强的模型适用于所有语音情感识别任务。同时,由于语音情感数据库的构建并不如其他几种信号方便,因此针对语音情感语料的数据增强方法也是一项研究重点。目前的语音情感分析工作中,一个具有高鲁棒性的模型及较大规模的数据集显得尤为重要。本文围绕面向语音情感数据增强方法、基于混合神经网络模型的语音情感分类展开研究。论文主要工作如下:(1)将语音片段按照语义进行词级别划分,划分后的片段将包含更鲜明的时序信息,将其放入时序网络模型中进行特征提取,保留音频原有的时序特征信息。针对语音情感的特点,借鉴并改进现有的图像增强方法,并提出几种可行的语音数据增强方法,避免语音情感识别中的数据稀疏问题。(2)为了验证本文所述数据增强方法的实验效果,本文针对卷积神经网络(CNN)、循环神经网络(RNN)和长短期记忆网络(LSTM)几种不同的神经网络模型进行了对比实验。在此基础上本文提出融合CNN与双向LSTM的混合神经网络模型,旨在同时保留音频片段的时序特征和通过卷积层提取的深层图像特征。本文实验使用了中国科学院自动化研究所提供的CASIA汉语情感语料库、德文语音数据集DMO-DB以及实验室自行收集电视访谈及电影片段的语音数据集,基于本文中提出的数据增强方法与混合神经网络模型进行实验对比,验证了本文提出的模型在精度和鲁棒性等方面相对基线系统均有提升。