论文部分内容阅读
脑机接口（brain-computer interface,BCI）是一种通过识别特定的中枢神经活动,并将这种活动转换为预先编码的对应指令,以实现大脑与计算机或电子设备的直接交互,从而摆脱人与外界交互时对外周神经的依赖的交互方式。目前,BCI已在康复领域和很多非医疗领域得到广泛应用。运动想象型BCI相对其它类型的BCI,其优势在于运动想象型BCI是一种不依赖于视觉听觉等类型的外部刺激的异步BCI,在生活中可随时随地使用,而其它类型的同步BCI则需要用户在静息态下运行刺激显示设备后再使用。但目前运动想象型BCI用不同被试的信号进行分类时,还不能稳定地获得有效的分类结果,因此还很难广泛地投入到实际应用中。脑电（electroencephalogram,EEG）信号具有信号采集成本低、时间分辨率高等优势,是最常用的BCI信号采集方式。但由于EEG信号采集的是电生理信号,人体在日常生活中肌肉收缩和眨眼产生的电信号会通过人体传导至EEG信号采集电极,导致EEG信号完全淹没在噪声中。因此使用EEG作为运动想象型BCI的信号采集方式无法完全发挥运动想象型BCI作为异步BCI可随时随地使用的优势,使用多模态信号作为信号采集方式是运动想象型BCI目前的发展趋势。由于近红外光谱脑功能成像（functional near-infrared spectroscopy,f NIRS）具有抗干扰能力强、便携性好和相对低成本的优势,本研究选择使用EEG-f NIRS双模态信号作为运动想象型BCI的信号采集方式,进行了以下研究:（1）为了分析EEG和f NIRS的脑网络特征中所包含的判别信息是否互补,并为后续研究提供参考依据,本研究基于EEG和f NIRS信号分别构建了功能连接网络并进行了差异性分析。通过对比左、右手运动想象两种不同任务条件下的功能连接的差异性,以及相同条件下EEG和f NIRS功能连接的差异性,探究从电生理以及血液动力学的角度观察大脑不同脑区间的连接的差异性,以研究EEG和f NIRS的脑网络特征的互补性,以及将脑网络作为初步的特征提取方法的合理性。研究发现,两种模态的信号在执行运动想象任务的过程中,涉及被试的左、右侧运动皮层（motor cortex）通道的节点对的功能连接的强度在左右手两类运动想象任务间均存在显著差异（p<0.05）。其中,EEG信号在右侧运动皮层的通道参与的节点对的连接强度、以及通道的脑网络指标中存在的显著差异更多（p<0.05）,f NIRS信号存在更多显著差异（p<0.05）的区域为左侧运动皮层。另外在同任务条件下,EEG与f NIRS通道中位置重合的部分作为节点构成的脑网络间,多数节点对的连接强度、以及节点的脑网络指标均存在显著差异（p<0.05）。由此可得出EEG与f NIRS信号构成的脑网络所包含的判别信息存在互补性,且适合作为运动想象型BCI数据分类的特征使用的结论。（2）为了研究更合理的EEG、f NIRS双模态特征融合与分类算法,提出了基于图卷积神经网络（graph convolutional network,GCN）,在特征融合的步骤中融入各脑区之间的连接以及不同模态通道间的拓扑关系的信息的方法,并与直接在全连接层进行特征融合的分类效果进行了对比。分类结果显示,EEG信号的平均准确率为75.32%,f NIRS信号为73.05%。直接使用全连接层融合不同模态特征时,双模态信号的平均准确率为76.65%,与EEG单模态的平均准确率没有显著差异。使用GCN融合不同模态特征时,双模态信号的平均准确率为79.57%,显著高于EEG单模态（p<0.001）和f NIRS单模态（p<0.001）的结果以及直接使用全连接层的双模态结果（p<0.01）。（3）为了研究具有更高鲁棒性的运动想象特征提取与分类模型,本研究将动态功能连接（dynamic functional connectivity,d FC）作为特征,选择长短时记忆神经网络（long short-term memory,LSTM）作为分类器以充分利用d FC的时序变化中所包含的判别信息,对左、右手运动想象信号进行分类,并将其准确率与经典的共空间模式（common spatial pattern,CSP）算法进行了对比。分类结果显示,双模态d FC的平均准确率为90.03%,EEG、f NIRS单模态d FC的平均准确率分别为86.29%和81.55%。双模态CSP的平均准确率为53.42%,单模态情况下EEG为68.21%,f NIRS为51.60%。双模态d FC方法的平均准确率相对双模态CSP方法得到了显著提高（p<0.001）,与EEG单模态d FC方法相比没有显著差异。本研究的主要成果分为以下三个方面:（1）从统计的角度结合生理学证明了EEG与f NIRS运动想象信号的脑网络特征的互补性,以及将其作为双模态运动想象型脑机接口的初步特征提取方法的合理性;（2）提出了利用GCN融合EEG与f NIRS特征的方法,使双模态分类准确率相对单模态得到了显著提高（p<0.001）,且各被试的双模态准确率均稳定高于单模态准确率;（3）结合d FC与LSTM对双模态信号进行分类,相对经典的CSP方法平均准确率提高了21.82%,且各被试的准确率均高于80%。