论文部分内容阅读
情感是人类智能的一部分,情感能力对于自然的人机交互至关重要。情感计算是指根据用户的外在情感表现,进行情感感知和分析并能对用户情感施加影响的计算,视频情感语义标注和情感脑-机接口均属于此研究领域。近年来,随着互联网的普及和网络带宽的增长,互联网中的视频资源增长迅速,情感作为视频的一个重要语义,是人们检索和选择视频的重要依据,因此对于视频进行情感语义标注显得至关重要。作为情感计算的另一研究子领域,情感脑-机接口可以为神经肌肉损伤的患者提供一条新的与外界交互的方式,从而让这些患者能够重新融入社会之中。
本论文的主要目标如下:
1)融合脑电和视频内容,研究视频情感语义标注。
2)分析情感因素对人的脑电中稳态视觉诱发电位的影响,初步研究情感脑-机接口。
针对以上研究目标,本文主要工作如下:
(1)提出融合视频内容和被试脑电的视频情感语义标注方法。提取视频的视觉低层特征(视频亮度系数,颜色能量和视觉兴奋度)、音频低层特征(能量、梅尔倒谱系数、谱通量和过零率)以及脑电五个频带(delta,theta,alpha,beta,gamma)的功率谱特征。采用贝叶斯网络分别实现特征级和决策级融合的视频情感语义标注。实验结果表明:特征级融合和决策级融合的分类正确率均好于单模态特征下的结果。
(2)提出基于边信息的视频情感语义标注,将脑电信号作为边信息,即只在训练阶段使用,在实际视频标注时只使用视频特征,依据脑电边信息的方法来改进视频情感语义标注的性能。首先,从视频中提取相应的视频特征(视频亮度系数,颜色能量和视觉兴奋度,能量、梅尔倒谱系数、谱通量和过零率),从脑电数据中提取五个频带(delta,theta,alpha,beta,gamma)的功率谱特征。然后,构造一个三节点的贝叶斯模型,建立情感类别、视频特征和脑电特征之间的关系。训练阶段,使用脑电特征和视频特征学习模型参数,测试阶段,仅使用视频特征进行分类。实验结果表明:在训练阶段使用脑电特征,可以更好地建立视频特征与情感类别之间的映射关系,有效提高了基于视频内容的情感标注的分类性能。
(3)研究基于稳态视觉诱发电位的情感脑-机接口。设计了基于稳态视觉诱发电位情感脑-机接口实验:从国际情感图片系统中选取三组不同情感类别(正性,中性和负性)的图片作为刺激图片。对于每一幅图片分别以10,11,12,15Hz四种频率在显示器的上下左右四个位置同时闪烁。受试者进行实验时,我们记录被试的脑电信号。对于采集的脑电信号,采用频谱分析方法和典型相关分析方法提取相关特征。此后,采用单因素方差分析方法分析不同情感状态下视觉诱发电位有无显著性差异。最后,采用线性分类器识别诱发频率。实验结果表明:情感状态对稳态视觉诱发电位有显著性影响;正性和负性情感状态下视觉诱发电位的分类正确率要高于中性情感状态下视觉诱发电位分类正确率。