脑-机接口(Brain-Computer Interfaces,BCI)是一种直接从中枢神经系统提取信息,采用人的思维直接操作外围设备的新技术,是未来人机交互的最高形态。脑-机接口不仅广泛应用于医学康复领域,在军事、休闲娱乐、心理卫生和人工智能等多个领域都具有较高的研究意义和价值。本文首先介绍了脑-机接口的相关研究背景,针对传统基于单一模态脑电(electroencephalography,EEG)脑-机接口易受环境噪声干扰、分类精度低等问题,在EEG脑-机接口的研究基础上,引入功能近红外成像(function Near Infrared Spectroscopy,fNIRS)技术,设计并简化了基于握拳动作的EEG-fNIRS多模态脑-机接口的实验范式,研究最重要的特征提取与分类环节。首先,利用实验室EEG、fNIRS采集与分析系统对三名受试者进行EEG-fNIRS的同步采集实验,并对原始信号进行滤波去噪、基线校正等预处理。根据握拳动作诱发的EEG信号的事件相关去同步、事件相关同步现象及其时频特性,提取了EEG信号的频带能量、AR模型系数和小波系数特征;同时根据握拳动作引起的血液动力学响应的特点,提取含氧血红蛋白浓度不同时段的均值及斜率特征。对特征向量进行归一化处理之后,采用线性判别分析(Linear Differential Analysis,LDA)及支持向量机(Support Vector Machines,SVM)对不同类型特征分类并进行8次5折交叉验证。结果表明,EEG的小波系数特征分类效果要好于频带能量与AR模型参数结合的特征;fNIRS的斜率特征分类效果要好于均值特征,其中斜率特征分类正确率最高的时间段在执行动作任务之后的3~5s。其次,根据单模态特征分类结果,提出了基于EEG小波系数和fNIRS斜率结合的融合特征,并对结合特征使用主成分分析(Principal Component Analysis,PCA)。然后采用LDA、SVM分类,并进行8次5折交叉验证,对比多模态信号与单模态信号的分类正确率。结果表明,经过特征融合的握拳动作任务平均识别率比单独的EEG特征和fNIRS特征提高3~9%。表明fNIRS能够显著增强基于EEG的脑-机接口性能,利用多模态脑信号能够提高传统脑-机接口系统的性能,以及对实验范式的简化,对提高EEG-fNIRS多模态BCI的应用有一定的意义。