语音情感识别是人工智能领域的重要研究部分,脑电信号作为典型的生理信号最能反映人对情感的认知能力,深度学习是实现人工智能的重要方法,因此开展面向语音和脑电情感识别的深度学习算法研究具有重要价值。本文的研究课题具有学科交叉的特点,主要通过采集受试者在听取情感语音状态下的脑电信号,引入深度学习模型,并提出若干改进算法对两种情感载体(语音和脑电)进行分析。主要研究内容归纳为:以信号处理方法为基础,结合特征提取、数据分析、深度学习等理论,对情感脑电信号和情感语音信号进行分析。首先,选取情感语音数据;其次,采用TYUT2.0情感语音数据诱发采集情感脑电数据;再次,对两类信号从二维图像序列和一维时间序列的角度提取多类特征,并使用数据分析中的主成分分析进行数据预处理;最后,借助深度学习的方法实现脑电辅助语音信号的情感认知研究。传统情感语音特征缺少连接时频两域的有效情感信息,因此考虑将情感语音信号生成的Mel语谱图作为特征,从二维图像序列的角度进行分析,选择改进的卷积神经网络实现特征的深度提取,同时结合图形处理单元优化运算过程,最后引入线性核函数支持向量机进行情感识别。卷积神经网络使用批标准化与全局平均池化进行优化,不仅增强了模型的学习能力,而且自动提取的深度特征改善了传统手工特征维数较高且情感信息表达不充分的弊端。线性核函数支持向量机代替原始分类层有效节省计算资源,缩短了训练时间。利用单一特征无法充分表达情感信息,而线性叠加多类特征又忽略了不同特征之间的关联性,因此考虑将情感语音信号的多类时域和频域特征进行融合,从一维时间序列的角度进行分析,选择多层堆叠的受限玻尔兹曼机进行特征重构,最后引入长短时记忆单元对新特征实现情感分类。深度受限玻尔兹曼机不仅可以有效改善“加性”特征的线性不相关,而且避免了特征维数较高引起的识别率下降。长短时记忆单元对依然保持高时间分辨率特性的重构特征具有良好的学习能力,可以充分挖掘特征之间内在的情感信息。借助语音信号进行单类情感分析忽略了关键生理信号的影响,因此考虑将脑电作为辅助信号,提取情感语音和脑电的多类特征,从一维时间序列的角度进行分析,依然选择多层堆叠的受限玻尔兹曼机进行特征重构,最后引入改进的长短时记忆单元对多信号特征实现情感分类。改进的长短时记忆单元借助多标签分类代价函数增加不同情感类别之间的差异性,有效减少了类别的误判,通过实验验证了脑电信号和新代价函数在提升情感识别性能方面的有效性。