论文部分内容阅读
微表情（Micro-expression）是一种十分短暂的面部表情动作,具有持续时间短、无意识和低强度等特点,识别微表情能揭示人们试图抑制或隐藏的真实情绪。作为人工智能研究领域的一个分支,微表情识别在精神健康诊断、国家安全等方向存在潜在的应用价值。迄今为止,微表情相关研究大多基于计算机视觉处理技术,分析了微表情的面部情绪表达结果,为检测微表情提供了可解构的面部信息,但没有探究微表情发生时同步的大脑活动状况。神经科学方面的研究表明,微表情发生时人的大脑会产生强烈的兴奋与抑制活动。因此,本文提出一种基于脑电信号（Electroencephalography,EEG）的微表情识别方法,即检测微表情序列时同步检测和分析脑电信号,并建立识别模型。论文的研究内容与工作如下:（1）建立了基于脑电信号和面部图像数据的自发微表情数据集ME-SWU（Micro-expression Dataset of Southwest University）。本文搭建了微表情诱发实验环境,提出了一个实时监督的情绪表达-抑制实验范式（Emotional expression-inhibition experimental paradigm,EEIEP）,收集了68名本科生（23名男性,45名女性）在正性情绪诱发下的微表情脑电信号和面部图像数据。实验使用高速摄像机采集参与者观看诱发视频时的微表情图像,同时采用Biosemi Active Two系统记录脑电信号。在若干个面部动作中,标记出了微表情与宏表情序列,并与EEG信号进行同步,最终建立了包括806个微表情样本、393个宏表情样本以及507个无表情样本的ME-SWU数据集。该数据集为后续识别研究提供数据支持。（2）确定了对微表情识别任务有效的脑区通道和EEG特征。该过程分为特征提取、通道排序及选择和特征选择三个阶段。特征提取阶段,对数据集样本的每个通道提取频带功率、统计特征、自回归模型参数和小波熵等21个特征。通道排序及选择阶段,将各通道的特征输入K近邻（k-Nearest Neighbors,KNN）分类器,以识别微表情样本的准确率为依据,对128个通道进行排序,基于排序结果确认了能够有效识别微表情的通道。特征选择阶段,利用基于KNN分类器的序列后向选择算法（Sequential backward selection,SBS）对通道排序阶段找到的不同通道数目的特征组合进行选择,从而选择出能够有效区分微表情与宏表情的特征子集,并在微表情识别模型分类阶段讨论各最优特征子集的实际分类性能。通道排序结果表明,D22单通道对微表情识别任务的准确率达74.10%,准确率排序前20的通道主要集中于皮层颞叶区。该结果与以往情绪抑制研究结果一致,表明颞叶对微表情识别任务具有重要意义。此外,随着输入分类器中通道数量的增加,识别准确率也随之提高;然而,当输入通道数超过11时,识别准确率无显著提高。因此,最终选择了通道数目分别为9、10、11的通道组合来验证基于脑电信号识别微表情的可行性。特征选择结果显示,数量为41的特征子集获得了最佳识别性能,准确率达到了81.90%。这些特征中,小波熵特征对微表情识别任务贡献最为明显,与前人提出的面部表情的情绪控制理论一致。最后通过T检验证明了已选出的特征具有显著性差异,确定了微表情与宏表情样本的统计学意义。（3）证明了基于脑电信号识别微表情的可行性。训练并比较了不同的机器学习分类器在ME-SWU数据集上的表现,包括支持向量机（Support vector machine,SVM）、K近邻（KNN）、梯度提升决策树（Gradient boosting decision tree,GBDT）和反向传播（Back propagation,BP）神经网络。实验结果显示,对于包含微表情与宏表情两类样本的数据集,GBDT分类器的最高准确率可以达到90.00%;对于包含微表情、宏表情和无反应三类样本的数据集,GBDT分类器对于微表情样本的最高识别准确率可达85.96%,分类性能表现最差的分类器（BP神经网络）也能达到74.27%。这表明基于脑电信号识别微表情是可行的。研究结果表明,论文提出的微表情识别模型能够选择出具有鲁棒性和判别性的EEG特征,并取得了较好得识别性能。论文将微表情识别方法从传统的外在表达（面部表情）扩展到了大脑活动层面,为人们区分微表情与宏表情提供了新的指标,从而更客观的反应人的真实情绪。此外,研究为未来利用脑电信号进行深层次的微表情研究提供了可靠的验证平台和对比标杆,同时也为临床医学、安全系统和刑事调查等方面的应用提供了一种捕捉用户情绪反应的简单高效的手段。