论文部分内容阅读
人工智能的出现让生活变得高效且便捷,人们也因此开始意识到人机交互的重要性。情感是人类生活中必不可少的元素,但由于机器无法像人类一样感知情感,在很多情况下机器无法真正的融入人类生活,并且对人类造成了负担与伤害。因此,计算机情感计算尤为重要。在情感计算中,人们将其分为离散情感计算和连续维度情感计算。离散情感仅仅包含了几类情感,而连续维度情感则是通过多维度的方式表现全部情感状态。本文通过利用多模态信号预测连续维度情感,针对于不同模态间的相互关系与单一模态的特性,提出了组合型回归网络(W-SVR-GBRT),提高预测的准确性。本文也关注到模态间存在的负面影响,提出了一种新型模态间融合策略,即模糊加权在线支持向量回归模型(FWOSVR),从而解决了模态内异常情感帧的问题。本文主要研究内容有以下几点。1.本文首先从人类情感的复杂性与模糊性角度分析连续维度情感空间与离散情感的差异性。通过对听觉模态与视觉模态的分析,明确了哪些特征能够充分地表达连续维度情感,分别提取相关情感特征,使用主成分分析融合了浅层特征和深层特征并达到降维效果,从而提高对情感的表达效果,并分析维度对全局特征的影响,选取最优维度。2.本文通过分析不同模态对不同维度情感空间作用效果的差异性,发现单模态无法准确表现情感,识别效果不理想。从而使用音/视频双模态识别连续维度情感,提出建立加权的组合回归网络模型(W-SVR-GBRT),并对多模态情感进行多级融合与回归。梯度增强回归模型(The Gradient Boosting Regression Tree,GBRT)首次被应用在维度情感识别领域,并针对情感模态的差异性补充了支持向量回归模型(Support Vector Machine for Regression,SVR),将集成学习的思想与高维空间中寻优的思想相结合,并通过改进线性回归模型进行决策级融合,提高情感识别的预测精度。3.本文关注到了偏离实际情感值较大的部分,对出现异常值的多种情况进行分析,提出模糊加权在线支持向量回归(Fuzzy Weighted Online Support Vector Regression,FWOSVR)的融合策略,通过在线的方式对模型进行校正,建立非线性连续时变系统模型,保证了在决策级融合过程中异常值对整体结果的影响最小,从而解决了异常值干扰的问题,使得在arousal情感空间中精确度提升18.21%,valence情感空间中精确度提升7.88%。