多模态脑机接口(Brain compter interface,BCI)是当前脑机接口的研究重点方向之一。多模态BCI通过不同单模态BCI的组合可以弥补单模态BCI的一些缺陷,从而能够从灵活性或效率方面来提升BCI系统的性能。本文利用两种不同源的单模态BCI信号的融合,实现了一种新的多模态BCI系统。所选择的单模态信号分别是运动想象和运动起始视觉诱发电位,其中运动想象属于被试的自发型信号,而运动起始视觉诱发电位属于外界诱发型信号。自发型BCI不需要通过外部刺激只需被试进行自主意志的想象就可以完成控制。而对于诱发型BCI则需要外部刺激而不需要被试进行自主意志的想象。正是利用这两类BCI范式的信号机理的不同,本文将他们进行信息融合,让被试同时进行两种不同的任务,来实现能够同时执行这两种单模态任务的多模态BCI系统,从而获得灵活高效的控制。同时,由于运动起始视觉诱发电位BCI的刺激方式较为柔和、不易引起被试的疲劳和不适,所以本文设计的多模态BCI系统在操作感受上具有较为舒适的优势。然而由于多模态BCI同样也面临着与单模态BCI所面临的同样的如:背景噪声干扰、脑电信号平稳性等诸多因素的限制,为了进一步实现整个多模态BCI系统的性能提升,本论文对构成多模态系统的单模态BCI系统的性能分别进行优化了提升。本文研究的主要内容如下:1.将MI(运动想象)和mVEP(运动起始视觉诱发电位)两个单模态信息进行了融合,发展了一种新的混合BCI系统,实现了更高效的光标二维运动控制。所进行的多模态任务显示了本文提出的混合BCI系统可以同时诱发出所期望的MI和mVEP信号特征,两者与单模态BCI任务中所引发的特征非常接近。此外,在线二维运动控制实验的结果也显示出,所提出的混合BCI系统可以提供更有效和自然的控制命令。这些结果证实了我们所提出的混合BCI系统的可行性,并且相比单模态BCI系统可以实现更为高效的二维运动控制。2.针对组成多模态系统中的mVEP特征的有效提取,将深度学习方法与压缩感知方法进行了结合,提出了一种新的特征提取方法,以便挖掘更有差别性的mVEP特征从而提高mVEP BCI的性能。我们利用实验室真实数据对该方法与传统的基于幅度的mVEP特征提取方法进行了对比。可以验证深度学习和压缩感知结合的特征提取方法能够更有效地提取mVEP特征,从而显著的提升相应识别mVEP脑机接口系统的识别准确率。3.为了实现对组成多模态系统中的mVEP模态信息进行有效的在线更新学习,提出了一种基于mVEP信号BCI自适应校准框架。该框架的核心是将支持向量机(SVM)和模糊C均值聚类(fCM)进行多模态信息融合,挖掘出新样本里面的可靠信息,以进行自适应地更新训练集,从而能够有效地跟踪被试变化的状态。我们利用实验室真实数据对该自适应校准框架进行了验证,相比传统的CSP方法和单种方法的校正方法基于SVM与fCM进行组合的自适应校准框架都有最好的分类效果,这些结果体现出我们提出的自适应校准框架的有效性和高效性。4.针对组成多模态系统中的MI特征的有效提取,采用半监督的思想对CDBN特征提取方法进行改进,提出了一个用于左、右手MI任务分类问题的新的特征提取方法SSL-CDBN。在该方法中,我们在原有的无监督训练中补充了样本的标签信息,但是并非直接利用标签,而是利用标签样本的聚类信息来避免对标签信息的过分依赖,从而避免了因此造成的网络泛化能力受限。我们利用实验室真实数据评估了所提出的SSL-CDBN方法用在跨被试分类问题中的潜力,结果表明在无训练情况下,SSL-CDBN方法得到的平均准确率分别比CSP和CDBN方法提高了4.1%和3.0%,又从分组被试数据的验证中可以看到SSL-CDBN方法对于较差BCI表现组的被试有更好的提升效果,这在脑机接口的应用中有潜在的价值。这些结果都表明SSL-CDBN方法能够基于已有被试的信息,有效的提取到新被试MI数据中具有两类差异性结构的特征,能够有效的提升MI-BCI的性能,显著降低被试进行MI脑机接口的训练负担。综上所述,本文提出、实现了一套基于MI和mVEP结合的混合BCI系统。然后从组成多模态系统的各单模态BCI研究入手,改进并提出了对于这些单模态BCI更为稳定和有效的特征提取与识别方法,从而为进一步提高多模态脑机接口的性能提供了必要的技术基础。