近些年来,脑机接口（Brain Computer Interface,BCI）的发展为重症残疾病人提供了一种全新的与外界交流的方式。BCI可以避开人的外围神经系统和肌肉组织,而直接通过检测人脑的电活动的变化来实现与外界的交流。传统的BCI主要利用单一类别的脑电（Electroencephalogram,EEG）信号作为BCI的输入信号,但是这种方法所产生的控制信号种类有限,只能用于简单思维的任务识别。而通过融合不同类别的脑电信号构成的混合BCI可以在极大地丰富控制信号种类的同时,不至于使系统的传输速率下降,已经成为了目前BCI研究的一个重要方向。为解决传统单一模式下的BCI控制信号种类偏少,无法针对实际应用中的复杂控制情况。本文通过结合P300及稳态视觉诱发电位（steady-state visual evoked potential,SSVEP）,实现了多模态的BCI系统,来控制人形机器人NAO的移动与抓取。本文具体的内容如下:（1）实验设计。本文分别设计了 SSVEP及P300的刺激范式,详细介绍了实验所采用的平台、被试人员的选择、电极的选取以及实验中需要注意的各种事项,并在电磁干扰相对较小的实验室环境下分别进行了 SSVEP及P300实验。（2）分别针对两种范式下的脑电信号进行了预处理与特征分析。对于采集到的脑电信号,分别通过带通滤波器及伪迹减法对EEG信号进行去伪迹,得到较为干净的脑电信号。此外还分别通过分析SSVEP信号的幅频特性及叠加平均后的P300信号特点来指出两种诱发脑电信号识别的难点,及可行的解决方案。（3）分别根据SSVEP信号及P300信号的特点,通过对传统识别算法进行改进,从而提高了识别准确率及在一定程度上解决了个体之间的差异性问题。对于SSVEP信号的识别,本文通过结合典型相关分析算法与一维卷积神经网路,设计出卷积典型关联分析算法来对SSVEP信号进行识别,在提高识别精度的同时使得模型具有小样本学习的能力。对于P300信号的识别,考虑到不同人之间的P300信号的差异性,本文通过使用迁移学习结合支持向量机的方法成功地改善了这一问题,使模型的泛化能力提升,提高了对于非特定人识别的准确率,从而增强了模型的识别精度及鲁棒性。（4）本文通过利用前面的EEG信号分析手段,设计并搭建了一个新颖的基于多模态的BCI系统,实现了对人形机器人NAO的移动和抓取的控制。在多模态的BCI系统中,六名被试参与了验证实验,在实验过程中所有被试按照任务要求能够很好的利用EEG信号来操控人形机器人NAO完成任务,验证了系统的可行性。综上所述,本文提出的基于多模态BCI的人形机器人控制系统能够实现对人形机器人NAO的移动及抓取控制,且具有较好的鲁棒性和稳定性,为脑机接口将来的实际应用提供了新思路。