情绪识别正成为人机交互、精神健康监测等领域的实际需求。从人体各类感知数据探究内心的情绪状态已发展出了基于表情、语音等多个技术方向。然而,人们习惯性地佩戴“社会面具”掩饰自己的真实情绪,这给基于表情、语音等人体外显通道数据的情绪识别带来了挑战。而大脑神经活动是人内心真实心理活动的直接反映且无法被隐藏,这为构建可靠的情绪识别系统提供了可能。但是,情绪作为一种高级认知过程和富含噪声的脑神经信号之间存在语义鸿沟。如何有效挖掘脑神经信号中的情绪相关信息并提升情绪识别效果成为计算机科学、认知神经心理学等学科的共同命题。为此,本文有针对性地进行了部分问题的探索研究,包括:1.针对基于人工特征的识别方法中特征泛化性不足的问题,本文系统性地在两个标准脑电情绪数据集上研究了18种信号特征在情绪识别中的鲁棒性,并从不同方面分析了与情绪识别最为相关的脑信号变量。本文发现头两侧颞叶区电极特征以及Beta节律移动性参数在情绪识别中具有优秀的泛化能力。这些发现为基于人工特征的情绪识别方法缩小了特征抽取范围,有助于降低系统的计算开销。2.为了给这些特征的使用提供可解释性和认知科学层面的理论依据,本文基于脑功能网络分析方法,从正-负情绪组头部电极间的关联度差异入手分析了相关特征在情绪识别中发挥作用的底层机制。本文发现几乎在每种特征之上,负性情绪用户头部电极点间平均相关系数都要显著的大于正性情绪用户。在相关研究中缺少类似本文结合脑认知科学研究方法的特征作用机制分析。3.针对传统特征表示的局限,本文从脑认知研究中的隐源解码这一角度切入,根据“存在跨用户的、默认的大脑隐源因子参与情绪过程”这一前提,基于无监督神经网络模型从多通道脑神经信号中解码隐源成分,并在隐源成分序列之上进行情绪状态的推断。实验结果表明,相比领域内广泛采用的独立成分分析方法,无监督神经网络模型更适用于脑神经信号的建模,并且隐源成分中包含了情绪心理过程的相关信息,可作为脑神经信号情绪信息的有效表示用于情绪识别研究。4.针对传统特征以及隐源解码情绪识别方法中的局限,本文提出了一套完整的从数据表示到模型构建、融合了特征学习和状态序列建模两种能力的卷积循环混合深度学习框架,用于面向长时脑神经信号的“端到端”情绪状态识别。本文提出的“尺度图帧立方体”多通道信号表示方法有助于挖掘和融合多通道信号间的情绪相关信息,而构造的“用户情绪体验融合层”在上下文决策融合的机制上符合情绪心理生理过程时变效应中的用户决策机制。实验表明本方法框架可以有效提升面向多通道脑神经信号的情绪识别效果,并且该混合模型适用于需要进行实时情绪监测的应用场景。