基于脑电的视频情感语义标注以及情感脑机接口研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:jackmengxiaojing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感是人类智能的一部分,情感能力对于自然的人机交互至关重要。情感计算是指根据用户的外在情感表现,进行情感感知和分析并能对用户情感施加影响的计算,视频情感语义标注和情感脑-机接口均属于此研究领域。近年来,随着互联网的普及和网络带宽的增长,互联网中的视频资源增长迅速,情感作为视频的一个重要语义,是人们检索和选择视频的重要依据,因此对于视频进行情感语义标注显得至关重要。作为情感计算的另一研究子领域,情感脑-机接口可以为神经肌肉损伤的患者提供一条新的与外界交互的方式,从而让这些患者能够重新融入社会之中。   本论文的主要目标如下:   1)融合脑电和视频内容,研究视频情感语义标注。   2)分析情感因素对人的脑电中稳态视觉诱发电位的影响,初步研究情感脑-机接口。   针对以上研究目标,本文主要工作如下:   (1)提出融合视频内容和被试脑电的视频情感语义标注方法。提取视频的视觉低层特征(视频亮度系数,颜色能量和视觉兴奋度)、音频低层特征(能量、梅尔倒谱系数、谱通量和过零率)以及脑电五个频带(delta,theta,alpha,beta,gamma)的功率谱特征。采用贝叶斯网络分别实现特征级和决策级融合的视频情感语义标注。实验结果表明:特征级融合和决策级融合的分类正确率均好于单模态特征下的结果。   (2)提出基于边信息的视频情感语义标注,将脑电信号作为边信息,即只在训练阶段使用,在实际视频标注时只使用视频特征,依据脑电边信息的方法来改进视频情感语义标注的性能。首先,从视频中提取相应的视频特征(视频亮度系数,颜色能量和视觉兴奋度,能量、梅尔倒谱系数、谱通量和过零率),从脑电数据中提取五个频带(delta,theta,alpha,beta,gamma)的功率谱特征。然后,构造一个三节点的贝叶斯模型,建立情感类别、视频特征和脑电特征之间的关系。训练阶段,使用脑电特征和视频特征学习模型参数,测试阶段,仅使用视频特征进行分类。实验结果表明:在训练阶段使用脑电特征,可以更好地建立视频特征与情感类别之间的映射关系,有效提高了基于视频内容的情感标注的分类性能。   (3)研究基于稳态视觉诱发电位的情感脑-机接口。设计了基于稳态视觉诱发电位情感脑-机接口实验:从国际情感图片系统中选取三组不同情感类别(正性,中性和负性)的图片作为刺激图片。对于每一幅图片分别以10,11,12,15Hz四种频率在显示器的上下左右四个位置同时闪烁。受试者进行实验时,我们记录被试的脑电信号。对于采集的脑电信号,采用频谱分析方法和典型相关分析方法提取相关特征。此后,采用单因素方差分析方法分析不同情感状态下视觉诱发电位有无显著性差异。最后,采用线性分类器识别诱发频率。实验结果表明:情感状态对稳态视觉诱发电位有显著性影响;正性和负性情感状态下视觉诱发电位的分类正确率要高于中性情感状态下视觉诱发电位分类正确率。
其他文献
学位
随着网络生活的拓展和生活节奏的加快,人们越来越多地通过网络进行沟通和交流,应运而生的网络交易也越来越普及,网络犯罪随之而来。而其中危害最大、最难根除网络犯罪行为之一的
信息爆炸时代的到来使人类社会的电子数据积累速度变得越来越惊人,人们希望可以利用数据库中的历史数据发掘出潜在的商业价值。TPC-H基准测试是事务处理性能委员会的重要测试标
随着数码相机的普及,功能强大的图像处理软件的出现,越来越多的人可以方便的对数字图像进行编辑处理。数字图像的安全问题也因此成为当前图像学界的一个热门且紧迫的话题。在数
近年来,伴随P2P技术的不断进步,针对P2P网络的攻击和利用其传播恶意代码的行为与日俱增。恶意代码中的蠕虫破坏性非常大,已经变为P2P网络和应用的重要威胁,严重影响了该技术的发
在现在社会中,社交网络已经成为人们快速沟通、交流的重要方式之一,通常社交网络可以理解为一种互动的多用户网站,它将用户的特征和兴趣结合起来,将用户的社交活动转变为相对
观看体育节目已经成为现代人生活娱乐的一种主要方式,随着体育视频节目的飞速膨胀,如何帮助用户找到他们感兴趣的比赛或比赛的精彩片断,成为一个亟待解决的问题。人工处理视频以
人工蜂群算法(Artificial Bee Colony algorithm,ABC)是一种模拟蜜蜂群体合作觅食行为的群体智能优化算法,由土耳其学者Karaboga于2005年首次系统地提出。由于其操作简单,控
在图形学的各类应用中,绘制具有真实感的物体都需要对物体的反射材质进行建模。传统的建模手段往往依靠艺术家的经验与技巧,有较高的难度且效率低下。然而随着虚拟现实、增强
本文描述了基于Web Service的校园能耗监测系统的设计和实现。本系统是依托已有的校园数据传输网络,利用Web Service技术开发的节能监测管理平台。系统可对多个校区的大量建筑