情绪在人类日常交流中起到非常重要作用,在对话场景中进行情绪识别的研究有巨大的商业价值和研究意义。本文利用当前比较前沿的深度学习技术,主要研究了多人对话场景中的多模态情绪识别任务。论文主要在模型性能、模型参数量和模型计算速度等方面进行研究。主要的研究内容和创新点包括以下几部分:1.在特征层面上,针对主流特征融合算法所存在的问题提出了基于情绪空间的特征融合算法。基于无监督的特征融合算法,特征维度小,可以去除数据的冗余和相互干扰,但是没办法保证转换到的空间是否跟情绪有关系。基于有监督的特征融合算法,可以显式表示交叉特征,但是特征维度高,信息高度冗余,不能解决信息相互干扰问题。本文针对有监督和无监督特征融合算法的缺点提出了基于情绪空间的特征融合算法,可以同时将多个模态的数据进行融合并且能够端到端进行学习。通过将各个模态的数据映射到维度相同的空间,并通过监督的方式将这些空间强制定义为同个情绪空间,去除了数据的冗余度。再通过权重模块去除各个模态信号之间的干扰,最后将各个模态在情绪空间的特征并联相加达到信息互补的目的。最后通过实验证明了本文所提算法的有效性,在特征维度减少的同时模型性能有所提升。2.在模型层面上,改进模型并发性的同时提出了基于多人物情绪影响的情绪识别算法。针对现有模型基于循环神经网络进行建模存在的计算速度慢问题,本文提出了基于多头自注意力机制的快速情绪识别算法。利用多头自注意力机制结构代替循环神经网络,同时对注意力机制模块中的全连接层进行了改进,将一个大的权重矩阵分解成两个小的权重矩阵,大大减少了模型的参数量。最后通过实验证明了本文提出的快速情绪识别算法在模型性能、模型参数量、模型计算速度方面上都有一定的提升。针对原有模型在建模层面没有考虑到说话者对听话者的影响和说话者上一时刻的情绪状态,本文提出了基于多人物情绪影响的情绪识别算法,增加了说话者对听话者的影响和每个人上一时刻的情绪状态。最后通过实验证明了本文提出的基于多人物情绪影响的情绪识别算法在模型性能有一定的提升,模型的F1分数达到58.43%。