人体动作识别与预测及其在人机协作中的应用

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:zzs0901
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前关于人体动作的研究主要关注于单一的动作识别或动作预测,无法同时识别并预测人类的动作。在人体动作识别方面,在三维骨架的特征提取上没有充分考虑骨架之间的时空关系,导致识别准确率受到限制。在人体动作预测方面,现有的研究没有考虑人体关节运动幅度的差异性,导致预测的结果不够稳定。协作机器人正在出现在各种复杂的制造环境中,使制造业朝着高效智能方向发展,人机协作的重要性不断提升。将人体动作识别与预测方法应用在人机协作中可以保障操作员安全并且提高生产效率。本文深入研究人体动作识别与预测的相关问题,提出适用于人机协作场景的人体动作识别与预测方法。主要研究工作如下:(1)基于三维骨架的人体动作识别研究。使用关节识别算法人体网格重建从RGB视频中逐帧获取人体关节点信息,建立人体三维骨架模型。分析人体运动特性,提出基于滑动窗口策略的人体骨架动态特征描述方法,实现动作类内差异最小化和类间差异最大化,从而提高人体动作分类的准确性。利用随机森林筛选主要特征以降低数据的冗余度,减小计算复杂度。在此基础上,引入混合多层感知机模型进行人体动作分类识别,为协同工作空间下的人机协作提供有益信息。(2)基于深度学习的人体动作预测研究。针对时间序列信息预测问题及人体部位的运动差异性,提出一种改进型的卷积和长短期记忆神经网络相结合的人体骨架运动预测方法。长短期记忆网络注重提取骨架序列时序特征而无法充分提取空间特征,引入卷积神经网络可以弥补骨架的空间结构信息提取。此外,针对人体由内向外的关节点运动幅度的层次性,设计的分层网络模型从局部到整体进行人体骨架的运动预测,提高预测准确率。为了解决关节识别算法固有的误差以及人体运动突变导致的数据波动问题,采用Savitzky-Golay滤波算法对原始数据进行预处理。在此基础上,预测的骨架序列通过人体动作识别算法转换为具体动作,为机器人预先规划以协助操作员提供可靠的依据。(3)人机协作场景中的人体动作识别与预测。利用视觉传感器、机器人、计算机等硬件设备,设计并开发人体动作识别与预测原型系统。视觉传感器用于采集视频数据,计算机主要用于运行所提出的算法,机器人系统用于控制机器人的规划和操作。通过实验验证,提出的算法在人机协作场景中可以实现效果良好的人体动作识别与预测。
其他文献
在机械设备、建筑、铁路、桥梁以及高铁等工程结构上,应变是结构健康监测的关键评价指标,基于无线通信技术的应变传感器在结构健康监测领域得到了越来越广泛的应用。这种面向工程结构健康监测的无线传感技术正向具有高精度、高速率、高可靠性的分布式测量系统方向发展。本文针对基于WIFI无线传感器网络的应变测量系统,重点研究了多个传感器组网高速同步采集控制方法,保证其同步测量数据时效性;同时针对高速数据采集过程中不
学位
视觉目标跟踪是计算机视觉领域最具有挑战性的任务之一,现阶段被广泛应用于智能监控、无人机跟踪和机器人导航等领域。目前,在多种复杂场景下实现高准确性的跟踪仍有很大的提升空间,强抗干扰与高鲁棒性的跟踪算法成为研究热点。制约跟踪器性能主要的原因一是训练样本极少,由于准确的样本只有提供的第一帧,导致算法所建模型不能很好地表达目标;二是复杂场景的干扰,在许多具有挑战性的视频序列中,目标受到遮挡、变形和旋转等干
学位
多机器人系统是机器人技术中最具有挑战性的研究领域,通过多个机器人之间的协同工作,能够完成传统单一机器人难以完成的任务,当今许多行业都依赖于多机器人系统的使用。多移动机器人系统能否高效运行与移动机器人的任务分配方案和路径规划方法有着密不可分的关系。而实际多机器人系统在工作时,随着机器人的移动可能会出现路径冲突、机器人故障等特殊事件的发生,因此需要根据系统的状态动态调整各个机器人的任务序列及行驶路径。
学位
随着制造业的发展,人机协作成为工业智能制造领域的研究热点。工业人机协作将人的灵活性与工业机器人的高效性进行融合,在当代生产制造环节中得到广泛应用。实际生产过程中,为保障操作人员进行安全的人机协作,要求工业机器人在执行任务过程中可以实时准确地感知完整的人体三维空间点云数据。因此,为给工人提供有力的安全保障,需要工业机器人具备更加智能化的感知能力,但是目前缺少可以同时满足实时性和准确性多方面要求的人体
学位
再制造的发展有利于保护环境和节约资源。作为再制造的重要步骤,废旧产品拆解往往是由人或者机器人单独完成。人工拆解虽然灵活度较高但拆解效率较低,机器人拆解虽然稳定高效但灵活性较低,较难灵活拆解具有复杂结构的零件。人机协作拆解指人和机器人在一个工作空间内协同工作,发挥各自拆解能力的优势,共同完成拆解任务。在人机协作拆解过程中,考虑到机器人的结构和运动特性,机器人需要将协同工作区间内的人体视为障碍物进行避
学位
正电子断层成像(Positron Emission Tomography,PET)技术作为目前核医学领域较为先进的成像技术,其优缺点都较为明显。PET成像在早期诊断及治疗评估方面都有不俗的表现,但相对于CT和MRI,由于其成像原理,PET图像的分辨率及信噪比都较低。并且,PET成像需要注射示踪剂,其辐射会对病人造成疾病之外的伤害,但为此减少注射计量则会导致成像的质量进一步下降,因此如何改善低剂量的
学位
工业机器人由于其高效且稳定的特点,被广泛应用于单一产品的组装环节。近年来随着机器视觉技术的发展,基于视觉引导的工业系统成为研究的热点。拆卸场景相比于装配环节更为复杂,面临产品内部组件的完整性与空间位置的不确定性的考验,需要工业机器人具有更强的智能性与自主感知环境的能力。目前已有不少研究成果将机器视觉运用在拆卸领域中,但大多数方法仍基于人工选取特征,需要依赖于专业的知识背景,且对生产环境的稳定性要求
学位
随着高性能计算技术的快速发展与智能设备的广泛普及,4K/8K高清视频、虚拟现实等新型应用服务正逐步走进人们的日常生活。然而,这些应用服务产生的计算任务通常具有计算密集或时延敏感特性,给通信与计算能力有限的用户设备带来了严峻的挑战。移动边缘计算(Mobile Edge Computing,MEC)是基于5G演进,将移动接入网与互联网业务深度融合的一种新的计算范式,旨在将云计算与云存储功能拉近到网络边
学位
目前,心血管疾病不仅是全世界各个国家的人群所面临的重大健康威胁,更是我国当下死亡病因中的首要因素,且其患病人数与死亡人数在近几年中依然继续保持增长。因此,进行有关识别心率失常及其对应类型的自动分类算法的相关研究有着很大的现实意义。目前,基于心电图信号的心率失常自动识别与分类算法主要依赖深度学习方法。但是,一方面,深度学习方法需要将ECG信号划分为用于训练和测试网络模型的单个ECG心拍样本,因此需要
学位
作为最常用的人体行为,手势以其复杂多变的含义和灵活便捷的操作方式,成为聋哑人与外界最重要的无障碍沟通途径。由于手语在日常生活中普及率不高,专业手语翻译人员严重不足,而手语机器翻译能有效缓解这一问题。手语机器翻译是为了将手语动作转换为更易理解的口语或文本等自然语言结构,在人机交互、智能家居、虚拟现实等领域有着重要的研究价值和宽广的应用前景。手势因其灵活多变、空间占比小等特性包含了较多的细粒度信息,同
学位