情感识别是计算机利用传感器采集到人的语音、表情和行为等数据来进行分析,从而来推断出人的情感状态,人类对于他人情感的识别主要是通过视觉模态或者语音模态来完成的。情感识别对于人机交互、医疗、刑侦、航天等领域有着重要的支撑作用。单模态语音情感识别是通过传感器采集到的语音信号来分析情感状态;多模态语音视觉情感识别是通过传感器采集到的语音、表情和行为等信号中的两种及两种以上的信号来进行分析情感状态。对于单模态语音情感识别和多模态语音视觉情感识别中,在国内外已有的研究中还存在如下两个问题。问题一,对于单模态语音情感识别,由于存在语音情感数据库分布不同、训练数据量过大、计算复杂度高和识别率不高等问题,导致单模态语音情感识别应用效果不佳。问题二,对于多模态语音视觉情感识别,由于存在不同模态的特征相互影响和模态缺失等问题,导致多模态语音视觉情感识别应用效果不佳。针对以上阐述的两个问题,本研究的主要工作可以分为以下3个方面:针对问题一,本文提出基于梅尔倒频谱图的迁移学习单模态语音情感识别。该方法基于单层LSTM和迁移的Inception-v3网络模型,将多语料库的语音数据集的梅尔倒频谱图做了数据增强后作为输入,通过单层LSTM前向传播后,进入预先训练好的Inception-v3模型提取特征,接着送入新定义的全连接和分类层训练,让最后一层的参数进行微调,最后得到分类结果。通过实验,多分布语音情感识别率达到67%,每一类的ROC曲线下的Accuracy面积、宏平均ROC曲线下的Accuracy面积和微平均ROC曲线下的Accuracy面积相差也非常小。该方法对多分布情感识别有较好的效果,并且该方法没有降低模型的性能。针对问题二,本文提出基于特征重构和粒子群特征融合的语音视觉多模态情感识别。该方法基于e NTERFACE’05视听情感数据集,即语音和视觉两种模态的数据,用CNN去提取视觉人脸关键帧和语音梅尔倒频谱图的高层情感特征,然后将其中一种模态的高层情感特征进行迁移学习,得到重构后的另外一种模态的高层情感特征,接着通过粒子群算法进行特征融合,从而得到多模态的共享情感特征,最后输入softmax分类器中进行分类训练,完成情感识别。通过实验,该方法使缺失模态的重构得到验证,解决不同模态的特征相互影响,并且比单模态的情感识别率和鲁棒性都要高,提升了情感识别的整体效果。针对问题二,本文提出另外一种新的解决办法,即基于特征重构和决策层融合的迁移学习多模态情感识别。该方法的视听情感数据集、视觉人脸关键帧和语音梅尔倒频谱图的高层情感特征和重构特征的方法都与上一种方法相同,不同点在分别将两个模态的特征输入softmax分类器进行分类训练得到概率矩阵集合,最后通过决策层融合中的融合规则完成情感分类。通过实验,该方法使缺失模态的重构得到验证,其中基于最小规则的决策层融合大的多模态语音视觉情感识别率最高,达到85.8%。该方法从一定程度上解决了模态缺失和模态之间相互影响的问题。