基于增强现实脑机接口的仿人机器人控制系统

来源 :天津工业大学 | 被引量 : 0次 | 上传用户:qiucanyu0532
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
脑机接口(Brain-computer interface,BCI)是一种允许人脑与外部设备实时交互的通讯或控制系统,有助于残疾人士重新获得对外界交流和控制能力。在脑机接口中,稳态视觉诱发电位(Steady-state visual evoked potential,SSVEP)是一种比较常用的人机交互系统输入信号,但其往往需要一种固定的电脑屏幕作为视觉刺激器,限制了其应用的灵活性;机器人通常作为外部命令的实施者,但传统单一的人机交互不能满足人们的需求。因此人们需要寻求一种便携智能系统。本研究搭建了一种基于增强现实(Augmented reality,AR)的脑机接口实验控制平台。该平台使用全息Holo Lens眼镜作为视觉刺激器诱发脑电信号,使用者无需在固定的位置进行视觉刺激,可以增强在复杂环境中的适用性,从而实现更自然的人机交互。随后基于该平台,为了使外部设备高度智能化,引入多传感器融合的仿人机器人,搭建了两套系统:系统一能够控制仿人机器人NAO完成物体抓取和放置任务,系统二能实现快速控制NAO完成“迷宫”内行走。在系统一中,本研究首先对12名健康受试者进行离线实验。当刺激时间为2 s时,脑电信号识别准确率可达94.05%,信息传输率(Information transfer rate,ITR)可达30.32 bits/min。根据信息传输率随时间窗的变化情况,实验选取刺激时间为2 s时,系统ITR最高。随后,本研究利用增强现实眼镜,进行了在线实验来实现对仿人机器人的控制。在线实验包括随机提示和自主选择两个任务。12名健康受试者参与了在线实验。随机提示的平均准确率为95.83%,信息传输率为32.32 bits/min。自主选择中,受试均能完成任务,控制机器人对区域内的目标进行识别并抓取目标。为了实现抓取,机器人根据单目视觉成像建立了单目测距模型。通过测量,机器人可以准确到达目的地。同时对手臂进行正逆运动学模型建立,机器人可以准确抓取到目标。实验结果验证了该系统的可行性。为了再次验证,本研究对系统二进行了在线实验,12名健康受试者参与了在线实验。随机提示的平均准确率为98.15%,信息传输率为34.03 bits/min。自主选择中,受试控制机器人结合mark识别,完成了在“迷宫”内的行走。结果表明,该系统具有可行性,有助于推动增强现实脑-机接口在机器人领域的应用。
其他文献
近几十年来,多智能体系统的分布式协同控制引起了越来越多研究者的关注,其研究方向涉及传感器网络、编队控制、一致性问题、航天器姿态跟踪控制、分布式优化计算和控制工程等各个领域。一致性问题是多智能体分布式协同控制的基本问题,其目标是指一组智能体基于局部交互规则在一定的物理量上达成一致。在现有的研究基础上,本文研究了二阶多智能体系统的一致性问题,主要从以下两个方面展开研究:在实际的多智能体系统中,由于智能
随着科技的迅猛发展,许多工程应用都需要大量的决策变量来解决问题,这种大规模问题的优化将对现有的优化算法提出挑战。由于决策变量的数量较大,所以问题的搜索空间也是巨大的,甚至是无限的,这就使得问题难以入手求解。此外,在这巨大的探索空间中,必然存在着许多伪全局最优值,这些值将影响算法并使其陷入局部最优,从而失去了搜索全局最优的机会。针对大规模问题的优化,通常使用两种优化技术:一是基于分解技术的协同优化框
神经网络的发展和大型数据集的增多,以及计算机硬件运算能力的提升,使得基于深度学习的技术在单模态(图像、文字、语音)已经取得的巨大的发展和应用。但是,多模态理解和交互等人类高级认知和推理功能还是很弱。针对这个问题,本文研究多模态交互领域一个极其重要的研究课题——视觉问答(VAQ)。视觉问答涉及图像和文本两个模态的信息,由于卷积神经网络(CNN)和循环神经网络(RNN)分别在图像和文本上的突出表现,许
随着汽车自动避障技术和服务机器人的逐渐发展,路径规划已经成为了移动机器人技术领域的热点问题。作为人工智能领域的深度强化学习由于不需要人工标记和不需要依赖先验知识的优势,目前多个领域已经结合实际应用对其进行了研究开发,同样在机器人路径规划任务中也有该方向的研究。本文使用单目相机作为机器人的感知手段,研究基于深度强化学习的室内自主避障问题。首先,在编码器-解码器网络结构的基础上,采用监督训练的方式,提
随着机械制造技术的飞速发展,高速电主轴成为了当今数控机床的核心部件,对其性能的要求也越来越高。电主轴是否具有优良的动态特性成为了确保机床加工精度高低的必要条件。轴承受预紧力的作用影响其接触刚度,高速时转速的变化导致轴承摩擦热的产生影响了接触变形进一步影响接触刚度。轴承作为电主轴的支撑部件其刚度又决定着电主轴的动态特性。本文以赫兹接触理论、摩擦理论、传热学、转子动力学理论为基础,分析多工况条件下的电
随着互联网的快速发展,网上产生了大量的产品评论,这些产品评论中往往蕴涵着许多有价值的信息,通过分析在线产品评论的情感倾向可以为用户和商家的决策提供支持。目前,互联网文本评论的情感分析已经成为文本挖掘的热门领域,基于神经网络的情感分析方法虽然克服了机器学习方法存在的特征提取困难的问题,但是神经网络仍然存在无法感知不同单词的重要程度、无法学习句子的内部结构和无法利用单词的位置信息等问题。同时,产品评论
随着科技的进步以及工业和制造业的快速发展,机器人逐渐被人们熟知并扮演越来越重要的角色。近年来,移动机器人以结构简单、易于控制、适合二次开发等优势成为研究热点。而在移动机器人领域的众多研究方向中,避障以及安全性研究是其中非常基础与重要的内容。本文以移动机器人为研究对象,对移动机器人在多种障碍物环境中的避障性能以及安全性、实用性问题展开深入研究,并以Turtle Bot3机器人为实验平台,利用ROS(
对船舶发动机燃烧室的温度场进行二维测量,对于改善发动机的燃烧效率、提高使用寿命以及实现节能减排具有重要意义。针对非接触、高时空分辨率等测量需求,本文基于可调谐半导体激光吸收光谱(TDLAS)技术,结合卷积神经网络(CNN)算法,开发了一套二维温度场测量系统,旨在用于发动机燃烧室的燃烧温度场的二维重建。第一,发展了一种基于CNN的二维重建算法。首先对水蒸气的吸收谱线进行优选,确定H2O在6807.8
随着我国老龄化问题日渐严重,大家开始重视老年人生活各项问题,为了改善脑卒中老年人和弱能老人的生活质量,迫切需要能够帮助他们恢复行走能力的设备。在过去的十年中,外骨骼等机器人辅助设备研发能力取得了巨大的进步,有些产品已经商业化。但是长期以来,对老龄下肢助行外骨骼机器人的研究主要集中在技术和机构上,对老年患者心理认知和知觉需求的研究相对较少。且市场上大多数产品风格单一,造型生硬,没有真正满足老年人的使
伴随着互联网、云计算、5G技术以及自媒体行业的不断发展,人们每天所产生以及获取的信息越来越多,并且这些信息大部分都以文本的形式存在。自动文本摘要技术能快速地帮助人们在海量文本中获取主题明确、可读性高的信息。针对传统基于深度学习的文本摘要技术无法生成高质量的长文本摘要问题,本文探究了一种基于强化学习的深度代理文本摘要生成技术。主要工作如下:(1)面对循环神经网络在对长文本进行编码时容易丢失先验信息的