情绪是人类的一个非常复杂的心理状态或过程,它能够反映人的感知和态度,在人与人之间的交流中发挥着重要的作用。情绪识别的研究对于人机交互的应用具有非常重要的价值。人机交互系统面对的环境是复杂和动态的,在许多场合要能与人协调作业,拥有情感交互能力的系统能够更好地适应这样的环境。人机交互系统如果能够快速准确地识别人的情绪,则能使交互过程更加友好自然。脑电信号对人的大脑状态变化具有较强的表征能力,因此基于脑电信号的情绪识别已经成为研究情绪识别的一种常用方法。本文在使用脑电信号的基础上添加另外一种外在的生理表征信号——眼动跟踪信号来进行情绪识别。本文深入探究脑电信号和眼动信号对不同情绪的区分能力和表征特性,并通过不同的模型融合策略(包括深度神经网络)将脑电和眼动信号结合,建立内部神经模式与外部潜意识行为相结合的多模态情绪识别模型。同时,研究脑电和眼动信号表征情绪的能力随时间变化的稳定性。此外,本文探究使用与情绪相关的关键脑区的少量电极进行情绪识别,对开发新的脑机情感交互可穿戴设备,以及探索情感在医疗、交通、教育和军事等领域的实际应用具有重要意义。