论文部分内容阅读
脑机接口系统拥有可以绕开外围神经和肌肉组织,在大脑和外部设备间直接建立连接通路的优势,为探索大脑提供了技术支持。基于运动想象任务的脑机接口系统是一种被试者不需要借助外界刺激,仅通过自身想象运动就可以产生脑电信号的自发式脑机接口系统。但是运动想象脑电信号是一种极其弱小的时序信号,具有连续非平稳和低信噪比的特性,且选择信号通道时,部分传统方法采用人工选择的方式,其余方法虽然将全部通道信号输入网络,但信号通道没有侧重,将与运动想象无关或相关性不强的通道信息也输入了网络,造成了运动想象脑电信息的丢失或冗余,致使运动想象脑电信号在四分类(左手、右手、双脚、舌头/休息)任务上的分类精度低。同时由于不同的被试者在运动想象任务提示出现到执行运动想象任务的时间不同,并且每个被试者对相同运动想象任务所产生信号的幅值不同,即面对不同的被试者运动想象脑电信号的反映时间与幅值存在差异,导致在被试者间进行分类时精度很低。
针对以上所面临的问题,本文首先提出了一种基于注意力机制的多尺度时空自注意力网络模型,以提高运动想象脑电信号四分类任务的分类精度。该模型由两个模块组成:特征提取模块和特征分类模块。特征提取模块包括两层,分别为空间自注意力层和多尺度时间卷积层,它们分别从空间域和时间域上提取原始运动想象脑电信号特征信息。空间自注意力层通过计算每个信号通道之间的相似程度,自动学习通道之间相似的权值,自适应地集合所有通道的信号数据,并使用加权求和的方式来更新每个通道信息。该层消除了传统机器学习中人工选择信号通道造成的信息丢失,同时可以自动选择与运动想象相关的信号通道来提取被试者的判别特征,进行空间域信息增强。在时间域上采用多尺度时间卷积层,提取不同时间尺度下的时间域特征信息,并将其融合以消除运动想象脑电信号中噪声的干扰,得到增强的时间域特征信息。之后将两层的输出拼接融合得到在空间域和时间域上特征增强的时空特征,经过特征分类模块输出最终分类结果。实验证明了本模型在单被试的分类结果上有良好的分类性能和鲁棒性,同时具有一定的迁移学习能力。
其次,为了提高模型跨被试分类的精度,丰富时频域信息和增强其特征表示,解决多尺度时间卷积层中因储存大量其他被试历史信息而导致跨被试分类精度低的问题,提出了基于多特征融合的时频-空间自注意力网络模型。首先将原始运动想象脑电信号通过摩尔小波变换转换为各个通道的时频特征图,在空间域上同样采用空间自注意力网络层。而在时间域上,引入时间自注意力网络层替换多尺度时间卷积层,该层不会储存大量其他被试历史信息的同时可以提取不同时间采样点之间的依赖关系,并且每个时间点都包含全局时间信息,从而增强时间域特征表示能力。在频率域上,引入频率自注意力网络层,该层可以提取不同频率采样点之间的依赖关系,同时每个频率点中都包含全局频率信息,可以增强频率域的特征表示能力,提升模型的跨被试分类精度。实验结果表明该网络模型比前文模型跨被试分类精度更高,更适合于跨被试分类。
针对以上所面临的问题,本文首先提出了一种基于注意力机制的多尺度时空自注意力网络模型,以提高运动想象脑电信号四分类任务的分类精度。该模型由两个模块组成:特征提取模块和特征分类模块。特征提取模块包括两层,分别为空间自注意力层和多尺度时间卷积层,它们分别从空间域和时间域上提取原始运动想象脑电信号特征信息。空间自注意力层通过计算每个信号通道之间的相似程度,自动学习通道之间相似的权值,自适应地集合所有通道的信号数据,并使用加权求和的方式来更新每个通道信息。该层消除了传统机器学习中人工选择信号通道造成的信息丢失,同时可以自动选择与运动想象相关的信号通道来提取被试者的判别特征,进行空间域信息增强。在时间域上采用多尺度时间卷积层,提取不同时间尺度下的时间域特征信息,并将其融合以消除运动想象脑电信号中噪声的干扰,得到增强的时间域特征信息。之后将两层的输出拼接融合得到在空间域和时间域上特征增强的时空特征,经过特征分类模块输出最终分类结果。实验证明了本模型在单被试的分类结果上有良好的分类性能和鲁棒性,同时具有一定的迁移学习能力。
其次,为了提高模型跨被试分类的精度,丰富时频域信息和增强其特征表示,解决多尺度时间卷积层中因储存大量其他被试历史信息而导致跨被试分类精度低的问题,提出了基于多特征融合的时频-空间自注意力网络模型。首先将原始运动想象脑电信号通过摩尔小波变换转换为各个通道的时频特征图,在空间域上同样采用空间自注意力网络层。而在时间域上,引入时间自注意力网络层替换多尺度时间卷积层,该层不会储存大量其他被试历史信息的同时可以提取不同时间采样点之间的依赖关系,并且每个时间点都包含全局时间信息,从而增强时间域特征表示能力。在频率域上,引入频率自注意力网络层,该层可以提取不同频率采样点之间的依赖关系,同时每个频率点中都包含全局频率信息,可以增强频率域的特征表示能力,提升模型的跨被试分类精度。实验结果表明该网络模型比前文模型跨被试分类精度更高,更适合于跨被试分类。