基于深度学习的视觉脑电编解码研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:a415013145
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉是人类最为依赖的知觉系统,是神经科学最为重要的研究方向之一。在脑-机接口研究中,基于视觉诱发脑电的脑-机接口技术已经取得了巨大成功,是最有可能实现大规模实际应用的脑-机接口技术。当前多数基于视觉的脑-机接口系统都是通过施加某种外界刺激编码实现的,而大脑能够仅通过视觉区分各类场景信息,不需要额外的编码过程,通过脑电解码大脑编码视觉信息的过程,实现对视觉图像的重建,进而形成新的视觉脑-机交互方法,是解决这一问题的有效途径。
  基于以上问题,本文提出了一种基于视觉的新型脑-机接口范式。不同于传统的时频编码范式,该范式不同视觉刺激之间的差异仅存在于呈现图形的不同,首先设置了8种图形,在这种情况下,理论上不同图形刺激所诱发脑电的差异将完全由刺激图像的空间分布决定。为了能够对该范式下的脑电进行识别与解码,分类识别系统选择了使用长短期记忆网络(Long Short-Term Memory, LSTM)构建,通过引入适用于LSTM特性的正则化方法,成功解决了脑电识别的过拟合问题,实现了对图形诱发脑电的分类识别,并对比了LSTM模型与其他脑-机接口常用机器学习算法的差异。最终本研究所构建的深度学习模型验证集正确率达到88.6%,明显优于作为基线方法的经典机器学习方法。
  在此基础上,本研究首次使用层级关联性传播方法对神经网络模型进行了可视化,从输入的数据点级别解释了神经网络的判别依据,从生理学角度阐述了视图分类识别结果。本文进一步探索了将LSTM作为编码器,对抗生成网络作为解码器,进行视觉重建。使用条件约束等方法改进对抗生成网络的结构与优化过程,最终实现了视觉图像重建,重建的人为评价相似度平均在77%以上。本研究还尝试了混合图形解码,分析了解码结果与未来优化方向。
  本文证明了图形可以作为一种有效的脑电诱发刺激,以及深度学习在脑电识别中的优势,同时也阐明了脑电通道之间空间动态性作为脑电特征的可行性,并实现了对视图的重建,本研究有望为视觉脑-机接口研究提供新的指令集扩展途径与数据分析方法。
其他文献
目前各种现代病的发病率不断攀升,尤其是糖尿病、贫血等。这类疾病最为有效的预防方式就是对血脂、血糖、血红蛋白等血液成分频繁地检测。动态光谱法(Dynamic Spectrum,DS)是一种具有广阔的应用前景的无创血液分析方法,它能有效地抑制个体差异(如皮肤、肌肉、脂肪)的影响和测量条件的变化。传统的动态光谱采集主要使用光谱仪作为采集平台,由于热辐射光源光谱特性、组织的吸收特性以及探测器的响应、精度等
脑卒中为脑区突发血管病变引起局部功能障碍的综合病症亦是全世界第一致残类恶性神经系统疾病。卒中后患者会出现不同程度的运动障碍,严重影响其正常生活,急需有效的康复辅助手段。基于脑-机接口(Brain-computer Interface, BCI)的运动反馈康复训练系统可实现肢体运动与皮层活动的同步耦合,促进运动功能重建,受到越来越广泛的关注。但其康复机制不明确、系统设计缺乏指导,从而影响应用效果。因
学位
跨个体脑-机接口系统相较于传统的个体依赖型脑-机接口(Subject-depend Brain-computer Interface, SDBCI)具有非个体依赖性的特点,用户在使用时可缩短或者不经历校准过程。但由于个体差异性大,背景干扰等因素,使得跨个体脑-机接口系统分类准确率较低,无法广泛应用。因此探究个体通用型脑-机接口系统的影响因素及优化方法至关重要。  基于上述背景,本文首先设计了基于快
学位
扩散光层析成像(Diffusion Optical Tomography, DOT)具有无电离辐射、无创、可提供生理学信息等优势,在乳腺肿瘤筛查中具有潜在的应用前景。该技术利用近红外光在组织体内较高的穿透深度,实现对乳房内部光学参数空间分布的重建和重要生化参数的无创检测。  与传统的静态DOT成像相比,动态DOT在获取乳腺内部结构信息和生理功能信息的同时,还能得到时间和空间上的血液动力学动态信息。
近年来随着中医诊断技术的发展,脉诊在诊断中的地位越来越高,但其自带的传承困难、诊断标准主观化等缺点却越来越限制着中医脉诊的发展。为了进一步促进中医脉诊的发展,脉诊客观化进程刻不容缓。现有的脉象采集设备具有取脉模式单一、不能三部同采、硬质传感器对使用者有较高要求、设备自动化程度低等缺点限制了脉诊设备进一步推广。同时三部脉象之间的关联性研究空缺,中医脉诊理论科学化的解释还有待发现。针对以上未完善之处,
学位
中医望诊是指通过针对性的观察被诊断者的神、色、形、态、舌象等部位的特征,从而推断被诊者内在的身体状况以达到治未病的效果的一种诊断方法,这其中对舌、面的诊断是望诊的核心组成部分。如何在大数据时代应用远程医疗的手段对检测的舌、面象进行准确的分析辨证成为当前中医望诊的热点研究课题之一。中医认为舌为心之苗,脾之外候,苔由胃气所生,而十二经脉,三百六十五路,起血气皆上于面而走空(孔)窍,本文利用工程学的思想
学位
睡眠呼吸暂停综合征是困扰肥胖人群和老年人群的一种疾病。近年来,随着生活水平的提高,睡眠呼吸暂停综合征发病年龄逐渐年轻化。睡眠呼吸暂停综合征对人体有着极大的危害,病情轻者记忆力衰退,患有高血压症,重者甚至会血氧急剧下降,猝死。家用睡眠呼吸机是治疗睡眠呼吸暂停综合征的最有效的物理手段,具有无需开刀、使用便捷的优点,具有良好的发展前景。在家用睡眠呼吸机的制作过程中,呼吸过程的研究可以为呼吸机控制提供技术
动态扩散荧光层析可描述荧光剂在生物组织体中的摄取、分布及代谢过程。该技术旨在实时捕捉微弱且快速变化的药代动力学信息,在肿瘤组织早期诊断、药效评估等领域具有重要的应用前景。本文结合多源-探布配方案与锁相光子计数技术搭建了一套动态扩散荧光层析成像系统,并设计实施了一系列仿体和小动物实验对系统进行评估和实验研究。  本文所搭建系统采用了16根源探耦合光纤均匀分布于成像腔周围的布配方案,提高了系统的空间采
医用机器人是机器人技术在医疗领域的一项重要应用,机器人具有精度高,稳定性好和操作简便高效等优点,帮助医生们更好为患者提供治疗。本课题重点研究腰椎穿刺机器人的术前路径规划和术中控制算法,具体的研究工作包括以下四个方面:  首先,经过需求分析,设计并搭建了腰椎穿刺机器人实验系统。该系统选用六自由度机器人,通过编程使上位机与机器人建立连接并发送相应指令控制机器人。经过功能测试,该系统具有良好的稳定性和易
随着时间和技术的发展,学者越来越重视舌诊的客观化研究,对二维图像和视频的分析成为研究热点。许多学者在舌诊立体化和客观化方面进行探索,并取得了一定的成绩,但仍有所欠缺。现有基于多目视觉的舌体重建,所选方式大多为多相机点依次采集,因舌体不自主抖动,会造成舌体图像序列不一致。现有重建方案特征点大多表面平滑,在精度方面无法达到诊断的要求。本研究旨在设计一种利用多相机多角度的方式进行舌体的瞬时抓拍,并对舌体