近年来,随着情感识别技术的不断发展,多模态情感识别已成为国内外情感计算领域的研究热点。在人与人交流中,多种因素共同对交流过程和结果进行影响,这些因素主要包括人脸表情、语言交流的内容以及人声音调的变化等。多模态情感识别技术将这三种主要因素相结合,即提取出三种因素所对应的人脸表情特征、文本特征和音频特征,然后对多种特征进行表示与融合,最后进行情感识别,该项技术在诸多领域都有着重要的应用价值。在本文面向的游戏场景中,多模态情感识别技术通过对玩家情感的识别,能够分析游戏情节对玩家的影响,从而进一步优化游戏的情节设置,使得情节更为科学。本文面向游戏场景,创新性地提出并制作了游戏多模态情感数据集（Game Multimodal Sentiment Analysis Dataset,GMSA）,并针对这一数据集提出并实现了面向游戏用户分析的多模态情感识别系统,该系统在多模态特征表示、多模态融合以及多模态情感识别方面进行了优化。（1）在数据集适用性方面,本文采集了特定游戏场景的数据用于情感识别。由于在游戏场景中,玩家的面部表情变化更加细微,语言内容具有很强的游戏特性,与已有的数据集各个模态特性差别较大,因此需要采集专门面向游戏场景的数据集。本文面向王者荣耀游戏场景,设计、采集并制作了游戏多模态数据集,并为每个单一模态和多模态进行了情感标记,因此数据集更具有针对性和细粒度,为情感识别提供了数据基础。（2）在多模态表示与融合方面,本文提出一种新的多模态表示与融合方法,三空间表示的多模态情感融合识别网络（Three Subspace Representations of Multimodal Affective Analysis,TSRA）,即TSRA方法。该方法首先对三种模态的特征进行三个子空间的表示,然后对子空间表示进行融合,最后将融合结果输入情感识别模块。本文将该方法与已有多模态融合方法,在多个数据集上进行对比实验,得到了更好的实验结果,证明了该方法的优越性。（3）在情感识别方面,本文提出将堆叠长短期记忆网络结构进行多模态情感识别,通过这一情感识别网络与以往情感识别网络进行对比实验,分析情感识别结果,证明了该方法对情感识别效果具有明显提升。