基于生理信号数据的情感识别建模越来越引起学术界和工业界的关注,比如快速发展的干电极技术,各种各样的脑机接口应用等。但是在基于生理信号数据情感识别分类建模的具体的过程中,有很多的问题。以脑电数据(EEG)为例,由于EEG是一种不稳定的电压信号,情绪的波动所引起的EEG信号的变化是瞬时性的。在基于传统机器学习方法进行建模过程中,需要人工设计特征并对生理信号数据进行特征抽取,同时还需要尽心消耗时间和空间的特征选择流程。针对每组信号,存在数据高维度,样本量较小,但是标签不变的问题,相同时间段内用户情绪有多种情绪变化,但是人工标记的标签却一致。在情感识别研究中引入深度神经网络改变了以往的建模过程,深度神经网络能够实现自动的特征提取和选择,在不同层次不同的数据表示形式,表征提取的特征,方便后期的特征融合。同时相对于传统的人工设计特征,深度神经网络能够提取更加复杂丰富的特征信息。本文的工作主要有以下三个方面:首先,介绍基于生理信号数据的情感识别模型前期数据采集和实验设计工作,包括如何选择激发情绪的刺激材料,实验范式,以及被试者自助打分评估方案。其次,主要介绍情感识别建模的流程和后期分类的机器学习算法。基于机器学习建模的情感识别分类的流程有:数据预处理特征抽取和选择,分类算法这主要比较了集中常见机器学习算法的思想以及详细介绍了深度神经网络中的深度置信网络和卷积神经网络。最后,对基于传统方法对脑电数据进行特征抽取,后续采用不同的机器学习算法进行分类,得出随机森林方法效果最优,分析了不同算法效果差异性的原因,后续针对生理信号数据本身通道数目不一,采样频率高,高分辨率,高维度等特点,结合深度学习,首先构建了多通道深度置信网络模型,效果优于传统方法,并结合深度置信网络分析了相关优势。其次,结合卷积神经网络的特点,提出将单通道信号数据转化为递归图,多通道进行时频分析转化为通道-功率谱表示形式,使用卷积神经网络进行类似图像识别过程,分类准确率与对比实验相比在不同的情感维度分类任务中分别提升了5%-9%。验证了对信号数据进行重编码为图像后在进行识别的可行性。为下一步的采用卷积神经网络进行多模态建模的提供可能。拓展了基于深度神经网络对生理信号数据进行情感识别的方法。