基于脑网络与深度学习的脑电信号时空特征提取与情绪识别

来源 :陕西科技大学 | 被引量 : 0次 | 上传用户:liongliong486
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的发展,人机交互智能化、人性化的需求日益凸显。自动驾驶、虚拟现实等新型人机交互应用成为热门研究领域。在人机交互应用中引入情绪识别技术,让机器理解人类的情绪倾向,更有助于提高用户体验的质量。从脑-机接口获得的脑电图信号因具有高时间分辨率和客观性等特点被广泛用于情绪识别研究。本文基于大型开源数据集DEAP中的脑电信号,分别从脑电特征表示、深度学习模型构建和情绪分类三个维度探究了脑电信号不同情绪识别方法,旨在提高脑电情绪识别的准确率和稳定性,进而提高脑-机接口应用中人机交互的性能。具体的研究工作包含以下三个方面:(1)探究了一种改进的基于微分熵四阶谱矩的脑电(Electroencephalogram,EEG)特征表示方法,用 MD-DE(Modified Differ-ential Entropy)表示,使用时间卷积神经网络(Temporal Convolution Network,TCN)对不同频带的MD-DE特征进行情绪分类研究。实验结果表明,基于TCN模型的分类准确率在效价和唤醒度上达到84.60%和83.19%,说明该特征能够有效提取脑电信号情绪相关特征。与其他5种时频域特征进行对比研究,MD-DE特征比表现次好的特征的准确率分别高出4.50%和3.56%,说明该特征具有较好的可分性,也验证了 TCN模型确实能够提取EEG序列中与情感相关的深层时序信息,以提高识别性能。(2)设计了一种基于3D矩阵特征与多维卷积神经网络的脑电信号情感识别方法,多维卷积网络用MCNN表示。该3D矩阵特征是指每个时间点上提取的6个频带的PSD特征按大脑电极位置分布,转换为9×9网状矩阵后连接得到的一个9×9×6的三维矩阵,该表征方法能够直接准确反应大脑皮层EEG信号的空间相关性和时频动态,再将该特征输入一个多维卷积神经网络进一步提取相关深度语义特征并进行二分类情绪识别,在唤醒度和效价维度上分类准确率分别达到了 85.88%和87.32%。相同实验条件下,比目前较优的基准特征的分类准确率分别提升了 5.41%和5.69%,比表现最优的其他深度模型的准确率分别提升了 3.52%和4.18%。表明3D特征与多尺度卷积相融合的识别方法有效获取了更多增益信息,提高了不同情绪的判别性。(3)设计了一种基于脑电连通性与自适应残差卷积网络的情绪识别模型,用BC-DA-RCNN表示。该模型采用全局脑网络连通矩阵表示大脑各空间域的连通信息(BC),采用领域自适应残差网络(DA-RCNN)提取EEG信号不同维度间的深度抽象语义特征,并减少不同被试数据间的域偏移,强化不同被试间的共有特征。所提模型能够有效提取与人类大脑情感状态相关的空间连通信息并引入领域自适应,实现被试内以及跨被试脑电信号的精准情绪分类,具有较低复杂性和较优的域鲁棒性和泛化能力。效价维度上所提模型在依赖于被试和独立于被试的二分类情绪分类准确率分别达到95.15%和88.28%,在唤醒度上两类实验的分类准确率分别达到94.84%和87.60%,均优于基准方法以及现有情绪识别模型。本课题所研究的改进的MD-DE特征、3D矩阵特征以及脑网络连通特征的表示方法明显增强了EEG信号中与情感相关信息的判别性和可分性。所研究的多尺度卷积模型和域适应残差卷积网络对特征进行深度学习并分类,提取到了具有高判别性的深层情绪特征,大大提高了情绪识别的准确性和鲁棒性,为后续开发高性能情感脑-机接口应用研究提供了良好基础。
其他文献
特朗普上台以后,相继发布了《国家安全战略》《国防战略》《国家军事战略》等一系列战略性文件,标志着美国战略重心的根本性转变,鲜明指出了与中俄的大国竞争成为了首要任务,这促使美国进一步调整国防建设。相较于前任政府时期国防经费的拮据,特朗普政府对于国防的投入大幅增加,为美军发展提供了有力支持,军队建设走上了快车道。美国陆军抓住机会,在作战理论、体制编制、武器装备、部队训练等领域采取了多项措施,希望能够尽
学位
城镇化发展是我国经济发展的重要动力,建设“以人为本”的新型城镇化是城镇化发展的目标。在推进陕西新型城镇化建设迈进新常态阶段的过程中造成了许多不可避免的生态环境污染问题,因此研究陕西新型城镇化与生态环境耦合协调效应对于区域绿色可持续发展意义重大。本文以陕西省及各地级市为研究对象,在生态城市理论、系统耦合理论等理论基础上,分析系统发展现状及构建指标体系,运用耦合协调等模型计算分析陕西省2005-202
学位
吉州窑是位于江西省吉安市的一座具有历史考究价值、文化参考价值、艺术欣赏价值的综合性瓷器窑口,主烧民窑,品类极盛。研究吉州窑主要的参考面带有一定的指向性和普遍性,在笔者进行一定的文献资料搜集和数据库数据比对总结的基础上,认为吉州窑研究的方面研究方向较多的方面分为以下几类:吉州窑考古遗址发掘状况分析、吉州窑历史文化考、吉州窑釉面成分胎土成分化学分析与吉州窑器物本身之联系、吉州窑器物考、吉州窑与茶文化、
学位
作为全球能源的主要供应,化石燃料的有限性以及其对环境的巨大污染性在近年来得到了人们的广泛关注,燃料电池作为新一代环境清洁型能源利用手段被大力发展,将固体氧化物燃料电池的工作温度降低到中温区域,甚至600℃以下的低温区域是固体氧化物燃料电池未来发展的重要方向。针对这个问题,研究者们通过设计固体氧化物燃料电池结构以及功能层材料,开发出了新型无电解质燃料电池。伴随着先进涂层制备技术的快速发展,将其应用于
学位
自2013年我国提出“一带一路”倡议以来,沿线国家经贸投资活动发展迅速,成为拉动全球经贸稳步上升的一个重要引擎,然而,经贸的发展必然伴随着争端的出现。尤其沿线国数量众多,各国经济、文化、政治、法律水平参差不齐,现有的投资争端解决机制也出现了各种正当性危机,机制改革还是废弃的问题重新出现在大众面前。考虑到“一带一路”基础上的双边投资协定数量纷杂但是协定重叠和空白问题严重,多边透明度问题缺乏、裁决不一
学位
随着经济社会的快速发展,西部上市公司在发展过程中,普遍出现融资成本高和融资难等问题。商业信用融资为解决融资难问题应运而生。商业信用融资主要通过应付账款、预收货款和应付票据等形式来获取融资,可以部分代替银行信用融资发挥作用。会计信息质量和内部控制质量的提升会改善企业之间信息的不对称程度,以此改善商业信用融资困难的现状。鉴于此,本文拟对此展开研究,探索会计信息质量、内部控制与商业信用融资间的关系。本文
学位
丙烯作为重要的化工原料在化学工业中占有重要的地位,导致其供不应求。将资源丰富的丙烷转化为丙烯成为一种有效缓解丙烯供应不足的途径。丙烷直接脱氢制丙烯虽然已经实现工业化,但与其相比,丙烷氧化脱氢不受热力学限制,反应效率有所提高。当氧气作为氧化剂时,丙烯很容易过度氧化生成COx,导致丙烯的选择性和收率较低;而CO2作为氧化剂氧化丙烷脱氢时,可以有效抑制丙烷的深度氧化,但反应所需温度较高。光催化丙烷氧化脱
学位
社交媒体具有开放性、参与性及匿名性,这使网民可以借助虚拟身份、匿名身份进行情感表达。“树洞”常被用来隐喻分享心事秘密的倾诉地。微博存在少部分已经逝去的用户,经由媒体的故事化讲述后被广泛知晓,从而吸引众多网民自发的在这个已故的用户微博评论区进行情感表达,最终形成逝者微博“树洞”。本研究从传播仪式观这一理论视角出发,运用内容分析、参与式观察及半结构访谈的研究方法,选取微博中最具代表性的@xiaolwl
学位
红砖产业空间是闽南红砖文化的重要物质支撑,而今,这笔遗产却遭受现代化发展的强大冲击,面临着生存困境。因此,本文从遗产保护视角出发,对闽南赤店村红砖产业空间进行研究,重点剖析其在遗产总体分布、作坊场地空间营造、窑炉建筑营建等方面的基础规律,总结提炼其遗产价值,同时衍生性地提出该笔遗产的当代再继承建议。在研究过程中,综合运用文献研究、田野调查、对象访谈等方法,并且注重对于红砖产业空间遗产资料的全面普查
学位
国际商事法庭是近年来国际经济活动增多、国际商事纠纷频发、各国涉外诉讼制度国际化、专业化发展的产物,在保证本国占据国际商业领域中的有利地位和提升全球司法服务的竞争力等方面有着重要作用。利益和纠纷的多元化、社会关系主体的多元化等社会控制的实际需要和客观规律催生了多元化纠纷解决机制的诞生,为当事人有效解决纠纷提供了多种选择。晚近不少国际商事法庭将多元化纠纷解决机制纳入其中,力求充分尊重国际商事纠纷当事人
学位