多模态人机接口及其残疾人辅助应用研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:hanbing5
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人机接口(Human-machine interface,HMI)是一类帮助人们实现和机器之间“对话”的设备,或将人们的意图和想法转换成对机器设备的控制指令,或向人们提供机器设备的有关信息及提示请求等。对于一些特殊病人群体,比如高位截瘫患者、肌萎缩侧所综合征(“渐冻症”)患者和闭锁综合征患者等,由于这些病人往往存在着发音困难、肢体行动不便、大脑部分功能受损等问题,常见的人机接口如语音、体感、鼠标、键盘以及触摸屏等都不再适用。因此,面向这些残疾人开发新型人机接口辅助他们日常生活以及康复治疗具有重要的研究意义与实用价值。除了上述需要肢体动作显著参与的传统人机接口外,另一类人机接口则尝试利用人体轻微神经肌肉活动所自发生成的生理信号来实现人与外界的交流与控制。利用人体产生的各种信号模态如头皮脑电(Electroencephalogram,EEG)、眼电(Electrooculogram,EOG)以及残余肢体动作产生的肌电(Electromyograph,EMG)来构建人机接口,不仅能够帮助患者一定程度上实现与外界的交流和完成一些控制任务,辅助患者提高生活自理能力,减轻家属和护理人员的负担,还可以通过对患者使用效果的观察和分析,帮助医生对患者的身体状态和康复效果进行评估。因此,本文主要研究使用上述人体产生的多种信号模态来设计新型人机接口系统,拟解决当前助残领域人机接口系统中存在的一些关键问题,帮助患者与外部进行更有效交流和控制。本文首先针对目前基于EOG信号的人机接口准确率不高、指令数目较少、容易受无意识眼动干扰等问题,提出了一种基于眨眼的新型人机接口,并应用于辅助脊椎损伤(Spinal cord injury,SCI)病人控制轮椅。在传统的EOG波形分析算法基础上,引入眨眼动作与图形交互界面按钮闪烁在时间上的关联性,提升指令输出的准确率,大幅增加指令数量,可以实现包括轮椅前进、后退、左/右多角度转向、加减速以及停止等多自由度控制。同时,通过检验连续多次眨眼与多轮按钮闪烁之间的同步性,有效降低无意识眼动的干扰,提升系统稳定性。实验结果显示本系统能够帮助SCI患者快速准确地生成足够多的轮椅控制命令,且使用方法简单、训练时间短、操作负荷低,具有较好的实用前景。其次,本文关注助残领域的一个主要挑战:多设备集成系统控制。当前大多数面向残疾人的人机接口都用于控制单一设备。而多设备集成系统控制任务往往要求更高的控制自由度、控制精度(如距离精度和方向精度),由此带来操作负荷高的问题。我们将常用的助残设备轮椅和机械臂整合为一个多设备集成系统,可以用于辅助SCI患者完成“移动喝水任务”:驾驶轮椅从室内任意位置出发,绕开障碍物抵达桌面附近,操作机械臂抓取桌面上目标水杯送至嘴边,并用吸管完成喝水动作。为实现对该集成系统的有效控制,我们设计了一种结合了多种眼动EOG信号、机器视觉以及机械臂智能路径规划等技术的新型混合智能人机接口。实验结果显示,相比于之前的单一轮椅控制系统,该混合智能人机接口可以提供更高的控制精度,帮助SCI患者实现对多设备集成系统的控制,同时机器视觉以及机械臂路径规划等智能技术也有利于减轻使用者的操作负荷。接下来,本文针对脑机接口(Brain-computer interface,BCI)中运动想象范式(Motor imagery,MI)由于大脑状态变化或者电极帽松动等不确定因素导致模型准确率下降的问题,提出了一种基于EEG/EOG的混合脑机接口,利用EOG信号提升基于EEG的脑机接口系统的自适应能力和稳定性。我们将该混合脑机接口应用于控制轮椅-机械臂集成系统:使用者通过运动想象控制轮椅的左右连续转向,其它离散指令如前进、后退、停止以及机械臂指令等则由眼动生成。在控制任务中,使用者可以通过眼动自主调整运动想象模型中的部分参数,提升系统的自适应性。实验结果显示该混合脑机接口可以让使用者在较长时间内自主维持脑电控制的稳定性,验证了混合脑机接口系统被用来完成难度较大的多设备集成系统控制任务的可行性。此外,本文还首次面向具有残余手指轻微运动能力的闭锁综合征患者研制了一种基于手指轻微移动的人机接口。通过专门研制的柔性氯化银电极指套,将患者轻微手指动作转化为外部电路的开关信号,从而实现对手指轻微动作的可靠检测。同时,电极指套之间的弹性细带会保证空闲态时手指始终保持并拢,消除了身体抖动带来的干扰。我们还为患者提供了一个视觉和/或听觉功能提示模块,患者可以在某个提示间隔期间挪动手指触发相应的功能,包括控制电视、呼叫、问答、需求表达、字符输入等。我们对该名患者进行了为期一年的实验和跟踪调查,结果显示本系统帮助患者恢复了一定手指运动能力,提升了患者的康复积极性和生活自理能力,并且在临床诊断评估方面也具有一定实用前景。
其他文献
<正>神经调节与体液调节相互协调,共同维持着内环境的相对稳定。正是依赖二者的协调配合,才使得各器官、系统的活动协调一致,才使得细胞的各项生理活动得以顺利进行,使得机体
资产证券化起源于20世纪70年代美国的住房抵押贷款证券化,美国资产证券化市场目前规模最大,而我国于2005年正式启动信贷资产证券化试点,资产证券化市场规模快速扩大,产品类型
矿业是对生态环境损害最大的行业之一,最大限度地降低这种损害不仅需要土地复垦等末端治理措施,还需要在矿山设计中贯彻“为环境设计”的理念,实现生态环境压力的源头减量。
目的:1)建立一个合理的可重复的大鼠负重长骨牵张成骨(Distraction Osteogenesis,DO)模型,为今后进一步探讨和深入研究促进牵张成骨区骨再生与矿化的方法以及分子机制奠定基
医疗技术的成熟使得脏器来源成为器官移植的主要矛盾。我国长期依赖死囚尸体供给脏器,随着近年死囚器官的停用,器官供给矛盾显得更加尖锐。大量研究表明捐献者家属的意愿和作
汽车租赁业作为具有广阔发展前景的朝阳产业,在我国日益成熟的汽车产业链中占有日益重要的地位。本文分析汽车租赁企业存在的问题,并提出汽车租赁企业发展建议。
《义务教育生物学课程标准》(2011年版)指出,新时代的发展需要学生具备终生学习的能力,更加强调学习的主动性和思维能力的培养,期望全体学生都能充分发展,提升生物科学素养。
纤维增强塑料,是指在聚合物材料基材中添加纤维作为填料,以大幅度提高材料的机械性能。随着新能源汽车的推广,汽车轻量化是实现新能源汽车续航里程提高这一目标的方法之一,因
<正>从2013年9月、10月习近平主席分别在中亚和东南亚提出丝绸之路经济带和21世纪海上丝绸之路的倡议,到现在刚好两年。随着各方面的努力、时间的推移,我相信中国政府画的这