人机交互(Human-Computer Interaction,HCI)是指人与计算机或其他外部设备之间的信息交换过程。基于生物电信号的人机交互技术是一种不同于传统鼠标、键盘的新型交互技术,它可以将采集到的人体生物电信号通过算法识别直接转化为计算机的控制命令,无需用户手脚的参与,从而可以为残疾人群体的日常生活提供一种有效的辅助。虚拟现实(Virtual Reality,VR)作为最先进的计算机仿真模拟技术,是实现人机交互的一种绝佳的平台。本文以实际应用为前提,将生物电信号与虚拟现实技术相结合,研究基于生物电信号(主要是脑电(Electroencephalography,EEG)和眼电(Electrooculography,EOG)信号)的人机交互技术及其在虚拟现实中的应用。首先,本文将三维虚拟现实建模与动画技术引入到基于EEG的人机交互范式中,提出一种基于立体视觉刺激的三维P300字符拼写系统。基于EEG的人机交互系统又称为脑机接口(Brain-Computer Interface,BCI),P300字符拼写系统是目前最受欢迎并得到广泛关注的脑机接口应用类型。本文从改善传统P300字符拼写系统的性能入手,提出一种新型的三维刺激范式。在此范式中,我们利用三维闪烁方块取代传统的二维闪烁平面来构建人机界面,每个刺激由一个快速闪烁(颜色改变)和一个三维运动相结合而成。12名健康受试者参加了一个离线实验和一个在线实验。实验结果表明,本文提出的3D范式能够诱发出比传统2D范式幅度更高的P300波形,从而显著地改善字符拼写的分类准确率和信息传输率。其次,基于第一项工作中所得到的三维脑机接口在诱发ERP方面的优越性能,面向意识障碍病人的视觉惊吓评估,提出一种新的三维脑机接口系统。前期的研究结果证实了脑机接口技术可以有效地支持CRS-R量表中听觉惊吓,视觉定位以及交流功能的评估。然而,在视觉惊吓评估方面,传统的二维脑机接口刺激范式很难模拟出该项评估中手指戳眼睛的动态效果,目前此方面的研究一直处于空白状态。针对此种现状,本文基于虚拟现实技术设计了一个用于辅助意识障碍病人视觉惊吓评估的三维脑机接口系统。本系统采用4:1比率的标准刺激和偏差刺激构成刺激序列,其中标准刺激采用静态的手指背景画面,而偏差刺激采用动态的手指戳眼睛动画,诱发受试者的P300电位。8位意识障碍病人参加了脑机接口评估和CRS-R量表的评估。详细的数据分析表明了三维脑机接口系统在检测视觉惊吓响应方面的有效性。再次,考虑到EOG信号具有比EEG信号幅度大、信噪比高、稳定性好等优势,提出了一种基于EOG的虚拟现实交互系统。与现有的基于EEG或EOG的虚拟现实交互系统不同,本系统是利用人眼的眨眼反应时间与按键闪烁之间的同步性来实现目标键与非目标键的区分。使用者可以通过执行与目标按键的闪烁相同步的眨眼来发出对应的控制命令。在本项目中,我们将小型生物电信号放大器、柔性干电极、移动终端以及VR头盔进行集成,充分发挥EOG信号采集在便携性方面的优势,实现了基于EOG的移动便携式虚拟现实应用。本系统以室内环境控制仿真作为测试案例,10名健康受试者参与了在线虚拟现实交互实验。实验结果表明,所有的受试者都可以使用本系统高效地完成各项交互任务,系统的多项性能指标要优于现有的基于EEG或EOG的虚拟现实交互系统。最后,更进一步地,综合考虑EEG和EOG各自的特点,本文提出了一种基于混合脑机接口的虚拟现实交互系统。在前面的工作中,我们提出了一种基于EOG的虚拟现实交互系统,该系统获得了比已有的基于EEG的系统更好的性能指标。然而,这种交互系统只能为用户提供离散的控制命令,在输出连续的控制命令方面无能为力。本系统是在此基础上进行改进,将EOG算法与EEG算法进行融合,以眨眼EOG信号来输出离散的控制命令,以运动想象EEG信号来输出连续的控制命令。通过这种方式,可以有效地提升现有的BCI-VR系统交互的功能与性能。此外,在本研究中,我们搭建了一个多通道大屏幕沉浸式BCI-VR平台,在此平台上,根据上述的交互方法,以室外轮椅控制仿真作为测试案例,设计了一种新的脑机接口轮椅控制范式。5名健康受试者参与了2项在线实验。实验结果证明了该BCI-VR系统的有效性与可靠性。