基于生物电信号的人机接口是一种新型的人机交互技术,使用人体自身的生物电信号构建与外部设备直接相连的通道。目前主要采用的生物电信号有脑电信号(EEG)及表面肌电信号(sEMG)。EEG信号记录了头皮脑电信号,不依赖肌肉组织,具有响应速度快、使用安全方便、无创性等优点;sEMG信号可以直接反映肌肉活动情况和运动意图,操作方便自然,信号相对较稳定、幅值较大。本研究对基于多模态生物电信号的人机接口进行了深入研究,并充分分析了单模态信号处理方法。本研究提出了少量电极共空间模式算法及基于所有样本对信息的相关性距离度量算法,这两种算法的组合可以用于电极/特征提取及选择;还结合深度度量学习,创新性地提出了基于二分图最大权完美匹配的多模态信号处理算法MWP-EMG-EEGNet。将这些算法用于多种任务,可以测试分类性能,其中,论文重点分析了ERP范式诱发的多模态生物电信号的单试次识别,并将相关结论运用于研究基于生物电信号的反应时间缩短程度。算法结果验证了生物电信号可以在更短的时间内得到更高的反应动作识别准确率。在这些算法研究基础上,本论文工作还搭建了在线人机接口系统,实现在线测试及应用。本论文工作设计了可穿戴式设备,该设备可以记录进行四种腕部活动时上臂肌肉组织诱发的sEMG信号。信号的时域、频域和时频域可提取共42维特征向量。本研究提出的DM算法利用所有样本对信息重新定义了类间距离和类内距离,将二者的比值作为可分性度量标准。四种不同分类器算法用于评价通过DM算法得到的普适性最优特征子集。在线任务是通过可穿戴式设备采集实时sEMG信号,并在有简单障碍物的环境下通过四种不同范式操纵改装设计的遥控车完成指定路径。任务完成时间和动作识别正确率是在线测试的两个性能评估指标。硬件测试结果说明采集系统SNR指标达到68.91 dB。特征选择结果表明DM算法可以使用23维特征达到96.77%的分类性能。在线测试结果表明,信号窗口长度为125 ms的状态机范式最接近实际控制情况,在线任务完成时间为48.08 s。将脑机接口系统应用在日常生活中的一个关键难点是如何减少电极数量,因此本研究提出了少量电极共空间模式算法(Fewer-channel Common Spatial Patterns,FCSP)及基于模拟退火策略的相关性距离度量(Corr-DM)算法来选取普适性最优化电极组合。采集被试者进行心算任务和想象空间旋转任务时的认知行为EEG信号验证算法性能。本论文研究提出的算法组合平均仅需7个电极就可以区分上述两种认知行为任务,达到90%的二分类正确率阈值,并结合截断加权算法确定了普适性的最优化电极组合。通过相关性和可分性分析验证最优化电极组合在训练组被试者数据上的有效性,相关性分析表明该电极组合与全部电极组合有显著性相关关系,可分性分析表明当使用最优化电极组合时,两种认知行为任务的信号有显著性差异。对测试集被试者进行跨被试分析,结果说明使用普适性电极组合的平均分类正确率可达到93.18%。基于上述生物电信号处理算法及结果,本论文还研究了生物电信号对于反应时间的缩短情况。本文设计了基于反应时间的实验范式,使用Corr-DM算法选取10个电极,并通过滑动窗及拓展时间窗方法分别分析EEG和sEMG信号。结果表明两种模态的反应时间相对于实际鼠标反应时间分别缩短了159.04 ms和75.22 ms。生物电信号可以在较短的反应时间内得到较高的反应动作识别准确率。本研究使用人工神经网络分析0~400 ms的EEG信号,反应动作识别准确率(单试次ERP信号分类正确率)可以达到93.39%;使用手工特征工程结合SVM算法分析0~400 ms的sEMG信号,反应动作识别准确率为88.65%;两种生物电信号的反应准确率相对于真实鼠标点击准确率的提升幅度分别为60.2%及55.46%。基于单模态反应时间的分析结果,本论文研究提出了基于最大权完美匹配(Maximum-Weight Perfect,MWP)的多模态生物电处理算法MWP-EMG-EEGNet,算法的核心思想是在加权完备二分图中找到最大权完美匹配,这样可以为批量数据中的每个样本找到最优匹配的同类/异类难样本,从而缓解训练过程中的过训练及样本不平衡问题。在此基础上,本论文将MWP匹配引入深度度量学习框架,研究设计了一种新型的损失目标函数,联合该损失函数与二值交叉熵损失实现端到端训练。多模态处理算法可以结合单模态分析的优势,保证了生物电信号反应时间(307.22 ms)的同时,可以获得较优的反应动作识别准确率,具体实验结果说明:在0~400 ms时段多模态处理算法可以达到96.38%的识别准确率,高于实际反应动作准确率63.19%;联合训练MWP匹配和交叉熵损失优化目标可以同时考虑异类样本可分性及同类样本紧凑性,优化试次样本在特征空间中的分布;基于MWP匹配可以完成难样本加权,提升神经网络模型的收敛速度和分类精度。在上述离线数据分析的基础上,本论文工作设计了两种多模态生物电信号的在线人机接口系统。第一种联合了NeuroScan、BCI2000及FieldTrip工具箱,邀请与离线实验中相同的被试组进行了两次在线实验,第一次在线实验(仅使用离线实验数据训练的模型)及第二次在线实验(使用离线实验数据和第一次有反馈在线实验数据联合训练)得到的平均分类正确率分别为94.62%和97.16%。但是该系统还存在便携性问题,因此本论文还设计了一种便携式多模态生物电信号采集系统,实现多操作系统及多编程环境下的实时数据采集及图形可视化界面设计;本研究还将该系统应用于虚拟轮椅控制,设计的系统和算法能够准确识别出转向和前进状态,转向状态中还可以具体识别出左转和右转状态。