论文部分内容阅读
情绪是人类心理的重要组成部分,能正确识别情绪并做出合理应对是社会交往的基础。随着脑机接口技术的发展,人们开始尝试引入情绪信息,使得人机交互过程更加自然、真实。为此,人们开展基于脑电信号的情绪识别研究,它允许计算机直接识别使用者的情绪状态以做出更人性化的反应。抑郁作为最常见心理问题之一,给人们的工作、生活带来巨大的负面影响,及时准确地识别抑郁情绪进而进行调节具有重要意义。另一方面,语言作为人类日常生活中自我表达的主要方式之一,与人类情绪抒发密切相关。然而,与情绪图片、面孔等相比,语言中情绪具有相对较低的唤醒度,在现有的基于脑电信号的情绪识别研究中,语言较少被采用为刺激材料。此外,现有语言情绪研究更多地着眼于事件相关电位,而对于脑机接口系统而言,基于单试次脑电信号的语言情绪识别显得尤为必要。因此,本文通过汉语情绪加工实验,研究基于单试次脑电信号的语言情绪识别和被试抑郁情绪识别,主要工作包含以下五部分:1.设计了两个汉语情绪加工实验,以大学生为研究对象,获得了两组实验数据集:(a)汉语词汇数据集。实验材料为正性、负性和中性汉语双字词,以及双字假词,获得了 "汉语词汇情绪信息加工"的脑电数据集;(b)汉语句子数据集。实验材料为使用同一中性双字词作为句尾词构造的两类句子,句子框架为中性,与句尾词整合后的句子分别为中性和负性,获得"汉语句子情绪信息加工"的脑电数据集。2.基于词汇材料情绪特征的共同空间模式(common spatial patterns,CSP)算法改进,提高了汉语词汇情绪信息的识别率。(a)基于情绪双字词诱发的单试次脑电信号,应用CSP算法提取特征,进而利用线性判别分析(linear discriminant analysis,LDA)进行词汇的情绪识别。(b)鉴于传统CSP算法不利于处理小训练样本数据集,提出时域正则化共同空间模式(temporally regularized CSP,TRCSP)算法。TRCSP算法利用局部线性嵌入获取脑电信号的时域结构信息,作为惩罚项嵌入CSP的目标函数,在脑机接口竞赛公开数据集上的实验验证了所提算法的有效性。将TRCSP算法应用于情绪识别,置换检验显示了识别率具有统计显著性,表明了基于脑电信号的汉语词汇情绪信息的可识别性。从上述算法的分类结果发现:在普通参照组中负性词与中性词的识别率高于正性词与中性词的识别率,而在抑郁情绪组中正好相反,表明抑郁情绪被试与普通参照被试的情绪加工机制存在差异。3.基于句子材料情绪特征的CSP算法改进,提高了汉语句子情绪信息的识别率。采用TRCSP算法对句子中的情绪信息进行特征提取,进而利用LDA对其分类。实验结果的置换检验显示14名被试中有9名被试的分类结果具有统计显著性,表明了基于单试次脑电信号的汉语句子情绪信息的可识别性。4.基于被试的情绪特征的CSP算法改进,提高了抑郁情绪被试的识别率。考虑到不同被试间存在个体差异,提出基于迁移学习正则化的共同空间模式(regularized CSP based on transfer learning with weighted subjects,RCSPTLw)算法。RCSPTLw 算法利用已有被试的信息,迁移至测试被试,在最大化不同被试间差异的同时使同类被试间差异最小化,在脑机接口竞赛公开数据集上的实验验证了所提算法的有效性。应用RCSPTLw算法于汉语双字词实验数据集,识别抑郁情绪组被试和普通参照组被试,源被试的脑电信号作为训练样本,目标被试的脑电信号作为测试样本,实验结果显示抑郁情绪被试得到了有效识别。5.论文还研究了判别空间模式(discriminative spatial patterns,DSP)算法应用于被试和语言材料的特征提取方面的效果。研究发现,与CSP算法相比,DSP算法对语言材料的分析有较高的识别率。同时,通过引入迁移学习方法将DSP算法用于被试情绪特征提取,对判别空间模式进行的正则化处理(regularied DSP with transfer learning,RDSPTL)提升了被试抑郁情绪分类的准确性,进一步核实了抑郁被试的可识别性。论文通过两类汉语材料的加工实验,验证了汉语情绪信息的可识别性,考察了基于单试次脑电信号的抑郁情绪被试的识别,发展了基于脑电信号的脑机接口系统的情绪研究。此外,论文提出了 TRCSP、RCSPTLw和RDSPTL三种改进的新算法,为情绪识别和分类研究提供了新的研究工具。