论文部分内容阅读
情绪是人类特有的心理活动,除了反映人当下的生理和心理状态,也对人的行为认知以及沟通和决策有着重要的影响。脑电（Electroencephalogram,EEG）作为大脑产生的生理信号,具有时间分辨率高、无损采集和便携性好等优点。随着科技的发展,基于脑电的情绪识别技术研究已经成为情感计算研究领域的热点之一。然而,由于脑电信号的非平稳性和个体差异性,以及情绪的复杂多变,现有的研究对于不同个体或者不同试次采集的情绪脑电信号的识别性能往往较差,极大地制约了基于脑电的情绪识别技术的实际应用。而另一方面,深度神经网络具有强大的学习表征能力,在图像分类、语音识别等领域均有较好的应用。因此,如何利用其优势,构建有效的深度神经网络,从情绪脑电信号中学习能够表征不同情绪状态的特征,并且克服不同个体、不同试次等不同域的差异性,实现跨域脑电情绪识别,是基于脑电信号的情绪识别研究中最具有挑战性的问题之一。本文围绕“如何通过深度神经网络提高基于脑电的跨域情绪识别性能”这一问题,分别从数据增强、特征挖掘和特征迁移三个方面开展研究。通过构建数据增强模型,扩大情绪脑电样本规模,让深度网络更好地学习到不同情绪状态的模式,提高模型的泛化性;通过构建基于图卷积网络的分类模型学习不同情绪状态下各脑区之间的信息交互关系,以更好地挖掘表征情绪状态的特征,提高跨域脑电情绪识别性能;通过构建基于域适应网络的迁移模型,减小跨域情绪脑电数据分布距离,满足训练数据和待测数据概率同分布的要求。本论文主要的研究工作如下:1、针对由于脑电信号数据规模小,深度网络难以学习不同情绪状态的模式且容易过拟合的问题,提出了一种融合变分自编码器（Variational Auto-encoder,VAE）和双鉴别器的生成式对抗网络（Dual Discriminator Generative Adversarial Network,D2GAN）的数据增强模型VAE-D2GAN。手工提取的脑电特征通过插值方式映射为二维拓扑图像作为数据增强模型的输入。其中,VAE可以通过潜在向量学习输入特征拓扑图的空间关系,D2GAN在各种数据分布模式下进行公平概率分布,以提高生成样本的多样性。通过结合VAE和D2GAN,使得模型更好地学习拓扑图像特征并生成多样性更好的人工拓扑图像。为验证该数据增强模型的有效性,本研究构建了深度神经网络（Deep Neural Network,DNN）并在公开数据集SEED和SEED-IV上分别进行三分类和四分类任务的跨被试情绪识别测试,使用数据增强后DNN的准确率分别为75.34%和64.16%,相比未使用数据增强的准确率分别提高了7.85%和8.75%。实验结果表明,本文提出的数据增强模型可以有效提升深度网络的跨被试脑电情绪识别性能。该方法为提高深层模型在跨域脑电情绪识别中的泛化性提供一种新的思路。2、针对传统卷积神经网络难以有效地学习不同情绪状态下各个脑区之间的交互关系的问题,提出了一种融合多层动态图卷积网络（Multi-layer Dynamical Graph Convolutional Metwork,MDGCN）与基于风格重校准的卷积神经网络（Style-based Recalibration Convolutional Neural Network,SRCNN）的脑电情绪识别模型MDGCN-SRCNN。该模型引用图理论将脑电信号构造为图数据,并利用图卷积网络学习不同情绪状态下各个脑区之间的交互关系。其中,MDGCN学习不同感受野的空间特征,SRCNN学习深层抽象特征,通过加入基于风格重校准模块的注意力机制,筛选与情绪相关性大的特征。通过在每层卷积层后加入自适应批量标准化（Adaptive Batch Normalization,Ada BN）层,将源域训练好的模型迁移到目标域。在公共数据集SEED和SEED-IV上进行跨被试情绪识别实验的准确率分别为74.56%和60.85%,相比迁移学习方法迁移成分分析（Transfer Component Analysis,TCA）的准确率分别提升了10.92%和4.29%。实验结果表明,该模型有效地提升了跨被试脑电情绪识别的性能。通过实验分析说明了图卷积网络能有效地学习各个脑区在情绪状态下的交互关系,同时通过融合多种网络学习多层次特征以较好地表征不同情绪状态。该方法有助于解决跨域情绪识别的难题。3、针对传统机器学习难以应用在训练数据和测试数据不同概率分布的识别领域的问题,提出了一种两级域适应神经网络的脑电情绪迁移模型（Two-level Domain Adaptation Neutral Network,TDANN）。该模型采用两级域适应算法适配多源域和目标域的特征分布,第一级使用最大均值差异（Maximum Mean Discrepancy,MMD）减少源域和目标域之间的分布差异;第二级使用域对抗训练,进一步动态减少分布差异,实现完全的域混淆。为了系统地验证本文提出的迁移模型,在执行四分类任务的自建时间迁移数据集和执行三分类任务的公开数据集SEED分别进行跨时间和跨被试情绪识别实验,准确率分别为56.88%和87.90%,相比域对抗神经网络（Domain Adversarial Neural Network,DANN）,分别提高了7.21%和8.71%。实验结果表明本文提出的迁移模型能显著提高跨域情绪识别的准确率,对于解决跨被试和跨时间脑电情绪识别的难题具有很好的借鉴意义。