情感计算是与情感相关、来源于情感或能够对情感施加影响的计算,其概念于1997年被正式提出。由此,如何准确识别人的情绪逐渐成为情感计算研究中的一个热点问题。目前用于情绪识别的信号主要包括两大类:主观行为信号（包括面部表情、言语、眼动信号等）和客观生理信号（包括脑电信号、心电信号等）。主观信号的采集相对方便,但受文化背景的影响较大;客观信号能更准确地反映人的情绪变化,但获取方法较为复杂。鉴于主客观信号的优劣,利用多模态融合的方法将主客观信号进行融合成为趋势,所得融合向量能够更为全面的反映被试者情绪变化状态,从而获得更为准确的情绪识别效果。但还是存在以下问题:1)现有的研究主要侧重于特征的选择上,而忽略每种特征在不同情绪识别任务上的差异性;2)现有研究中往往忽视了非显著性信息在多模态融合时容易被覆盖的问题,从而导致了非显著性信息中所蕴含的情绪信息在融合时丢失;3)在融合时,模态的相关性挖掘、融合框架设计的合理性等问题,都与情绪识别效果有着密切的联系。为了解决上述问题,本文选定脑电和眼动信号进行基于主客观信号融合的多模态情绪分析研究,并提出了一种用于情绪识别的主客观特征融合神经网络模型（Subjective and Objective Fusion Neural Network,SOFNN）,该模型能有效地学习脑电信号的时空信息,并将脑电信号与眼动信号动态集成,最后通过分类器输出情绪分类结果。具体地,本文先通过一系列不同大小的一维卷积核从原始脑电图信号中提取出更为丰富的显著性信息与非显著性信息,保证其在融合过程中不会被覆盖。然后,本文设计一个主客观特征融合框架,通过动态学习权值向量来调整两种模态特征的比例,从而使得模型能够充分发挥每种模态特征的优势。本文还使用了特定长度的时间窗口对原始脑电信号进行切割,并且在特征融合过程中始终确保两种信号在时间轴上的严格对齐,确保了两种模态所对应的是被试同一时间的情绪状态。通过在公共数据集SEED-IV上进行相关实验,证明了本文所提出方法的有效性。对于快乐、悲伤、恐惧和中性四种情绪的识别任务,该模型的准确率为86.27%,标准差为10.16%,均优于现有方法。实验结果表明,该模型能更好地利用主观特征与客观特征之间的互补关系,达到较好的情绪识别效果。