情绪在日常生活人与人交流中扮演着重要角色。除了逻辑智能,情感智能也被认为是人类智能的重要组成部分。情感智能是指机器感知,理解和调控人的情绪的能力。然而,现有人机交互系统仍然缺乏情感智能。情感脑机交互研究的目的是通过构建情感计算模型来建立人与机器的情感交流通路。在本论文中,我们探讨了情感脑机交互的理论基础,模型,算法,实现技术,实验验证以及原型应用。主要工作包括以下三个方面:1)我们利用脑电,眼电和眼动信号以及深度神经网络构建了多模态情绪识别和警觉度估计系统。相对于传统浅层模型,深度神经网络能有效提高识别性能,并揭示情绪识别中关键频段和关键脑区,从而给出在实际应用中具有更少电极的配置方案。我们通过跨个体的在不同时间的多次实验,揭示了对于三类情绪(高兴、悲伤和中性)的稳定神经模式。我们发现高兴情绪在颞叶脑区具有更强的beta频段和gamma频段的脑电信号反应,中性和悲伤情绪的神经模式比较相似,中性情绪在顶叶和枕叶脑区具有更强的alpha频段脑电信号反应,而悲伤情绪在顶叶和枕叶脑区具有更强的delta频段脑电信号反应以及前额脑区更强的gamma频段脑电信号反应。2)我们提出了利用脑电和眼动信号的多模态情绪识别框架,实现了对人的内在认知状态和外在潜意识活动的建模。我们探讨了特征层融合,决策层融合以及双模态深度自编码器等多模态信息融合方法。实验结果表明,多模态融合方法在三类和四类情绪识别中分别有10%和15%的准确率提升。另外,我们揭示了脑电和眼动信号在情绪识别中的互补特性。为了克服跨被试个体差异性问题和脑电信号的非平稳特性,我们引入了迁移学习算法构建基于脑电的个性化情感模型。其中,直推式参数迁移算法取得了76.31%的最高性能,比不用域适应的基线方法提高了将近20%的准确率。3)我们开发了利用脑电和前额眼电构建多模态警觉度估计系统,并在实验室模拟环境和真实驾驶环境进行了验证。我们提出了新的前额眼电电极配置和利用眼动仪眼镜进行警觉度标注的新方法。为了对随时间变化的警觉度动态特性建模,我们引入了两种时序依赖性模型,连续条件随机场和连续条件神经场。我们首先在商业用湿电极脑电采集系统采集的脑电和眼电数据上进行了实验室模拟环境的实验评估。为了提高警觉度估计系统的可穿戴性和实用性,我们利用柔性干电极和超大规模集成电路技术开发了可穿戴前额眼电采集设备。在实验室模拟环境和不同天气条件下的真实驾驶环境,实验结果验证了我们提出的警觉度估计系统的有效性。在上述研究的过程中,我们开发了三个公开的情绪识别和警觉度估计数据集,分别是三类情绪数据集SEED(高兴、悲伤和中性),四类情绪数据集SEED-IV(高兴,悲伤,恐惧和中性)和警觉度估计数据集SEED-VIG,这些数据集得到了国内外近300多高校和研究机构的使用。