随着计算机与人工智能的快速发展,自然人机交互受到广泛重视。语言是人们日常交流的主要媒介,近年来,由于深度学习在语音处理领域的广泛应用,语音识别已取得较好的识别率,但仍未能实现自然人机交互,部分原因是情感在人机交互中发挥着重要作用,而机器不能理解语音中的情感状态。因此,通过语音信号来分析情绪状态的语音情感识别具有重要研究意义,该课题已经引起越来越多的关注。在语音情感识别研究中,情感特征的选取是决定最终识别结果的关键因素。传统的声学特征来源于语谱图特征的再加工,存在因分帧处理引起相邻谱特征相关性被忽略以及谱特征与目标标签不相关的问题,导致语谱图部分特征信息丢失。为此,本文提出通过卷积神经网络从语谱图中提取相关卷积特征,将卷积特征与传统声学特征进行融合,构建基于PCA特征优化的多级SVM模型,以提高语音情感识别系统的识别性能,主要工作如下:(1)语音信号预处理。对语音信号进行预加重、加窗分帧及端点检测等预处理工作后,提取语音信号中的声学特征,包括短时能量、基音周期、共振峰、MFCC及其统计特性,以作为后续特征融合的一部分。(2)基于语谱图的卷积神经网络特征提取与融合。为尽可能避免语音时长不同带来的负面影响及语音信号数据集样本有限的问题,本文先将语音信号切分成奇数个等时长的语音片段并生成相应语谱图,再构建卷积神经网络,从语谱图中提取相关卷积特征,并与传统声学特征进行融合,以作为最终语音情感特征。(3)构建基于PCA特征优化的多级SVM模型。为尽可能区分相似情感,本文通过计算类别间混淆度构建多级SVM模型。同时,采用PCA特征降维方法对每个判决器的输入特征进行最优降维,以达到优化多级SVM模型的目的。通过已有实验及现有研究数据对比发现,本文提出的基于卷积神经网络特征优化的语音情感识别的科学性及有效性。