集成多模态感知和意图识别的多任务自适应人机协作

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:toboho
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人机交互是一个广泛的研究领域,具有很高的经济影响。机器人已经开始从实验室和制造环境进入更复杂的人类生活。这对人与机器人之间的交互提出了新的要求。本文以人机交互为背景,基于模仿学习、意图识别策略及任务切换等展开了研究。本文主要工作如下:(1)基于动力学系统的模仿学习研究。人机交互中的模仿学习方法主要有动态运动基元和概率运动基元。以上两种模型是典型的基于时间索引的模型。时间依赖性使得这些模型对空间和时间扰动都非常敏感。动态运动基元模型还有另外一个不足,它只能对单个演示进行建模,对于多组示范轨迹就不适用。本文引入了基于状态索引的动力学系统(Dynamical System,DS)模型,该模型能很好克服前面两种模型的缺陷。文中动力学系统是基于高斯混合模型得到的,通过SEDS算法可以得到非线性动力学系统的参数,并且这个非线性动力学系统在目标点处是全局渐进稳定的。最后,文中机器人所有需要完成的任务都是基于DS编码的。(2)基于视觉与隐马尔可夫模型的意图识别策略研究以及视觉/力多通道融合策略研究。本文利用隐马尔科夫模型对人类用户的手部动作序列进行建模,从而识别人类意图。视觉方面,利用实验室的Kinect V1深度摄像头,在ROS平台下运行openni_tracker功能包跟踪人类手部并获得手的三维空间位置。接着本文提出了人手动作序列识别算法。该算法使用了角度编码方法对手空间位置进行编码,通过Baum-Welch算法从序列化数据中学习隐马尔科夫模型参数。当人做出手部动作时,利用前向后向算法可以计算出在各个模型下该观测出现的概率。此外,文中还引入了阈值模型,通过它可以区分未定义动作和已定义动作。另外DS模型对环境变化的鲁棒性允许当目标位置发生改变时,机器人能够立即适应新目标的位置。本文通过将惯性传感器绑定在手上可以得到新的目标(手掌心)位置。若人做出已定义动作后手部发生了移动,那么机器人会到达这个新的目标位置。最后,为了能灵活地根据实时场景选择合适的交互方式,文中提出了一种简洁有效的视觉/力多通道融合方法,该方法可以将多种交互方式结合起来。(3)基于运动的意图识别策略的研究。人类用户给Sawyer机器人施加力使机器人产生运动,通过识别力产生的真实速度,机器人能够识别人类用户的意图,完成任务的自适应切换。即给定机器人的当前位置和当前速度,它们可以评估任意任务和当前速度之间的相似性度量。本文采用了一组参数化的动力学系统,每个动力学系统编码一个任务。通过将这些动力学系统线性组合,可以允许编码任务之间的平滑和自适应切换。为了符合人类的意图,本文引入了一种自适应机制,该机制使生成的运动(期望的速度)适应人类用户的意图(真实的速度),从而切换到最相似的任务。(4)人机交互和任务切换的实验验证。本文模拟人与机器人的日常交互,首先设计了抬手与挥手动作,通过实验验证了基于视觉与隐马尔可夫模型的意图识别策略的有效性。然后通过人类用户施加力作用在Sawyer机器人上完成了多任务之间平滑且自适应的切换,验证了基于运动的意图识别策略的有效性与任务间切换的可能性。最后,集成多模态感知的人机交互实验验证了所提视觉/力多通道融合策略的可行性。
其他文献
随着无人驾驶概念的普及,社会对自主移动智能设备的需求日益增加。同时定位与建图(Simultaneous Localization And Mapping,SLAM)作为实现智能设备自主移动的关键技术,对其构建地图的精度要求越来越高。本文着眼于地图精度的提升,提出了一种融合视觉与激光雷达的SLAM算法。主要研究内容如下:首先,对视觉SLAM算法进行了研究。通过研究视觉SLAM算法中的视觉里程计与后端
学位
外骨骼能够有效提高人体运动能力,比如:辅助患者运动康复、帮助老年人行走、帮助士兵负重行军等。运动过程中,外界干扰不可避免,外骨骼和人体如何共同应对外界扰动,保持身体平衡,是非常重要的研究课题。人体神经-肌肉-骨骼系统非常复杂,很难建立其精确的动力学模型。外界干扰具有偶发性质,与行走、奔跑类周期性动作不同,很难定义一个通用的模版。因此,在人机协作过程中,外骨骼控制缺乏对协作对象(人体)和协作任务(抗
学位
制空权的争夺是现代军事对抗中的核心问题。随着无人战斗机各方面技术的发展,无人战斗机在空战中逐渐成为制空权争夺的关键因素。无人机的智能化水平是影响自主作战胜负的关键因素,其中自主决策要求无人机在复杂的空战环境下,感知获取空战态势,并实时做出有效的机动决策。经过几十年的发展,空战决策技术中已经形成了以微分对策、矩阵对策为代表的基于对策理论的决策方法和以影响图法、专家系统为代表的基于专家知识的决策方法以
学位
目前,对视网膜光学相干断层扫描(Optical Coherence Tomography,OCT)图像的人工观察与分析,往往需要耗费医疗工作者大量的时间,并且容易因主观因素而导致误判。在此背景下,结合近年来提出的深度学习方法以及智慧医疗理念,本文围绕视网膜OCT图像的自动分类以及移动端应用开发问题展开研究。首先,本文以实现在移动端对脉络膜新生血管(CNV)、糖尿病性黄斑水肿(DME)、玻璃膜疣(D
学位
分析人体中枢神经系统运动控制机制,在仿真环境中预测人体运动控制行为,是神经力学领域的重要课题,对穿戴设备设计优化、人机协作研究具有重要意义。但人的控制机制至今尚不明朗,难以通过机理手段建模。本文根据人体运动控制中展现出的优化原则,借助Open Sim开源平台,开展下蹲动作预测仿真研究。人体运动一般为多目标优化,建立合理的目标函数是搭建预测仿真框架的主要挑战。现有研究多以手动调整的形式给出目标函数权
学位
目前,我国人口老龄化的现象日趋严重,同时,在残疾人的康复治疗上也面临着严峻形式,而可穿戴下肢外骨骼机器人技术的出现,将会很好的解决这两类问题。外骨骼机器人技术已经比较成熟,其应用场景已经涵盖多方面。在外骨骼机器人技术领域,最重要的研究技术之一就是步态识别技术,本文以人体下肢sEMG为基础来进行人体步态相位识别研究。sEMG蕴含了丰富的人体运动信息,通过对信号进行建模,可以获取人体运动的诸多信息,这
学位
自主定位是自主移动机器人的关键技术之一,随着自主移动机器人在生产和生活中的广泛应用,如何实现高效、精准的自主定位,成为该领域研究的热点问题。基于已知地图的视觉定位是当前自主移动机器人解决自主定位的主要方法之一,但现有方法在构建大规模地图时存在建图不准确甚至失败的问题,以及由于硬件资源限制导致的无法存储大尺度室外地图问题,使其在实际使用中受到了一定的制约。针对以上问题,本文对基于已知地图的视觉定位系
学位
相较于传统的有线电能传输,无线电能传输技术是一种能够使用电设备摆脱电线的限制的供电方式,其在有源植入式医疗设备、水下机器人、消费类电子产品、电动汽车、矿井传感器、移动或转动部件等的无线充电中拥有广阔的发展前景和巨大的商用价值。基于磁场耦合的感应电能传输和基于电场耦合的电容电能传输是两种常见的无线电能传输方式。由于磁场与电场是两种对偶的场,电感元件与电容元件是两种对偶的电磁元件,可以合理推断感应电能
学位
锂离子电池因其能量密度高、使用寿命长、安全性能好等优势而广泛应用于电子产品、电动汽车和储能系统中。合理评估电池健康状态(State of Health,SOH),有利于对电池精确管理,确保电池的使用寿命并减少安全隐患,有助于锂电池更大规模的推广应用。在电池应用过程中,过度充、放电及局部过热等情况将加速锂离子电池老化。老化电池在相同工况下将产生更多的热量和更高的温升,加剧老化,进而影响电池使用寿命。
学位
在环保轻量化与安全可靠性的双重要求下,为更好的挖掘最优结构尺寸与耐击穿品质,发挥结构轻量化潜能,实现高绝缘特性与轻量化的综合性能卓越的设计,论文通过提出一种两阶段组合优化设计方法开展了SF6-N2混合气体介质条件下GIL母线气室内绝缘状态多目标优化方法的研究。力求解决SF6-N2混合气体介质条件下GIL内绝缘性能与轻量化双重优化设计问题。主要研究内容如下:(1)在建立混合气体条件下的内绝缘状态的判
学位