语音是人与人之间最自然、最直接的交流方式,蕴含着丰富的情感信息。语疸情感识别的目的是在人机的交互过程中,计算机可以通过语音信号判断人的情感状态,从而对人的工作起到监督、辅助和引导的作用,如何让计算机自动识别语音情感是一项重要且具有挑战性的任务。以前的情感识别方法首先根据专家经验从语音中提取与情感相关的手工制作特征,运用特征选择方法对情感特征向量进行特征选择和降维,然后训练出语音情感识别的分类器。然而浅层的机器学习方法在很大程度上依赖于手工特征提取,制约了语音情感识别性能。随着深度学习技术的在各个领域的广泛应用,如何有效的利用深度学习提取高维语音情感表征开始成为了研究热点。本文主要针对语音情感信号的特征提取和语音情感识别的建模问题,从认知科学角度出发,结合深度学习方法,提出了自动提取时间、空间高维特征和时空特征融合表示的框架,在很大程度上避免了手工提取特征所造成的依赖问题并有效的提取语音的情感信息,丰富了语音信号的情感表达。主要研究内容包括:第一,针对现有语音情感只考虑与情感相关的声学特征的问题,从认知科学出发,提出基于深度学习的时空高级特征融合方法,结合FCN和BLSTM的优势,基于FCN-Attention BLSTM进行时空特征提取并进行分类预测。新的特征提取方式有效地模拟了语言情感的特性,在中国自然视听情感数据库(CHEAVD)和IEMOCAP语料库的实验结果表明,所提出模型在无权重正确率(UA)和权重正确率上(WA)有了较大程度的提高,与其他现有的语音情感识别算法结果相比,在CHEAVD数据库上,UA、WA提高了4.6%、6.4%,在IEMOCAP两个子数据库上,UA提高了3.9%、0.5%,WA提高了4.7%、1.6%。第二,针对基于FCN-Attention BLSTM模型训练速度和识别速度较慢的问题,提出扩张因果卷积神经网络用于提取时间特征,解决了BLSTM输入整段语音计算导致的GPU显存消耗增大、模型运算速度慢的问题。相较于FCN和基于注意力的BLSTM模型,在UA和WA损失1%～2%的情况下,将语音情感识别的单张测试速度由2.8s～3.5s提升到1.9s～2.1s,批量测试速度提高了5～7倍。