基于深度学习的机器人体感控制技术研究

来源 :北方工业大学 | 被引量 : 0次 | 上传用户:shuyun99a55
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
体感控制是利用肢体动作实现控制对象的人机交互方式,是人机交互领域的热点方向。快速且准确的识别人体姿态是体感控制的重要课题。计算机视觉技术的发展和计算机性能的提高,使得通过深度学习的人工神经网络可解决传统计算机视觉算法难以解决的复杂问题。本文基于深度学习的方法,实现了人体姿态的识别,并通过映射算法完成了智能人形机器人的体感控制。本文利用自上而下的人体姿态识别方法,完成了多人二维关节点识别。其中目标检测网络采用YOLOv4网络模型,关节点识别网络采用堆叠沙漏网络模型,并对两个网络模型进行了改进。成功训练网络至其收敛,最终网络能快速且较准的检测出人体并识别人体关节点。目标检测网络的AP达到了83.46%,关节点识别网络的PCKh达到了85.0%。在体感控制过程中使用了以舵机为关节的人形机器人。为了让机器人能做出控制者的相应动作,同时防止机器人在移动中摔倒,对机器人上半身和下半身采取了不同的控制策略。分析了机器人手臂的运动学模型和腿部的步态控制方法,开发了人体关节点映射算法。算法通过连续的人体关节点数据控制舵机输出,实现机器人的体感控制。通过开发移动端上位机软件、创建Web API接口等无线通信方式来拓展体感控制机器人的应用范围,使其符合实际的控制场景。研究了通过增强现实平台获取深度信息,从而将二维人体关节点数据转为三维人体关节点数据的方法。最终实现人形机器人的体感控制与应用开发,论文研究内容具有一定的工程应用价值。
其他文献
清洁的水资源是生态可持续化发展的前提。伴随工业化、城市化和现代化的发展,重金属成为水体环境的主要污染物,重金属污染问题日益突出并受到重视。《“十四五”生态环境监测规划》提出了加强生态环境监管体系和监管能力建设,提升环境监测预警与水污染溯源能力。因此,研究宽光谱水质重金属在线监测技术,实现水体环境广域网格化的长期高频次监测,具有重要意义。鉴于我国水体环境在线监测技术难以满足日益深化的水体环境治理需求
学位
随着载人航天技术的不断进步,太空探索已从以前的想象逐渐变为可能,在未来,航天员会执行月球表面勘探,科学基地建设等诸多舱外活动。为了给航天员提供适宜的工作环境与基本的生命保障,航天服使用了多层软质材料充压设计,这会给关节屈伸时会带来较大的阻力,从而增加使用者的体力消耗,加大其工作难度,严重影响其工作效率。外骨骼是附着于人体上并对特定关节进行助力的一种辅助装置,本文尝试通过下肢助力装置(外骨骼)帮助航
学位
镍基高温合金因其出色的高温性能被广泛应用于航天等领域,同时,镍基高温合金也是公认的难加工金属。切削力大、切削区域温度高、刀具损耗严重、加工表面质量差等是镍基高温合金加工的常见问题。使用合适的切削液可以有效改善镍基高温合金加工状况。目前针对镍基高温合金的研究往往集中在刀具材料、加工参数、新型冷却润滑方式等,常用润滑添加剂对镍基高温合金表面润滑规律及作用机理的研究还十分薄弱。本文以镍基高温合金/硬质合
学位
近年来为了保障架空输电线路的安全和电力系统的平稳运行,在工程中常采用巡检无人机进行电力巡检工作。本文主要对在无人机电力巡检工程中的巡检轨迹跟踪系列问题进行研究,包括针对巡检无人机轨迹跟踪控制算法研究和针对巡检无人机编队控制研究。为了研究巡检轨迹跟踪的精度以及抗干扰问题,并探讨不同的控制算法的优劣,本文首先采用滑模自适应鲁棒控制算法、PID控制算法、滑模PID控制算法、反步控制算法进行控制算法的研究
学位
湍流的研究备受世界各科学大国的重视。目前,基于雷诺平均(Navier-Stokes,N-S)方程的传统湍流模型方法(Reynolds Averaged Navier-Stokes,RANS)考虑了工程实际中的可操作性、经济性与实效性,是解决工程实践问题的主要计算方法,但大都过于简化了湍流流动及传热的物理本质,丢失了重要的一阶湍流脉动信息,导致模型经验系数繁多,普适性较差,计算效果还不够理想,需要进
学位
油气润滑ECT传感器是实现油气管道内油气两相流流动参数在线监测的重要环节。本文针对油气润滑ECT传感器管径小、油膜薄、油少气多以及极板数量受限等特点,研究了油气润滑ECT传感器的3D电极的特征参数、激励检测模式以及图像重建算法。主要研究工作和结论如下:(1)基于小管径油气润滑系统的特点,建立了ECT传感器的3D结构优化模型;以管道中油气环状流为典型流型,获取了电容值和图像相关系数等信息;定义了图像
学位
水力压裂技术在煤矿坚硬、完整顶板岩层弱化及高应力巷道卸压方面得到越来越广泛的应用。以陕西曹家滩煤矿特厚煤层综放开采工作面、特厚稳定顶板岩层为工程背景,开展了顶板岩层地质力学测试、可压性试验,水力裂缝扩展理论分析及三维数值模拟,提出井下工作面定向钻孔区域水力压裂顶板层位、压裂钻孔布置与参数确定方法及压裂工艺。在井下进行了工业性试验和系统的地面微震实时监测,获得了顶板水力压裂裂缝空间展布特征。同时,进
期刊
流量计是一种常见的流量测量工具,广泛应用于工业生产等各种领域。齿轮流量计由于具有简单的结构,在流量计市场中占据了较大的份额,但是传统的齿轮流量计在工作时,是由流体推动齿轮转动,在测量流量波动较大的流体时,易导致流量计内部发生泄露,引起测量精度的下降。因此,实现齿轮流量计的高精度测量是亟待解决的工程问题。近年来国外出现了将机械和电控系统融合的高精度齿轮流量计,能够实现零压差测量。这种高精度流量计广泛
学位
随着我国经济社会的快速发展,人们对于自身的健康问题愈发重视,健康与养老保障服务需求也随之增长。在此背景下,绿色、可持续发展的健康产业应运而生。本文针对健康产业现状以及存在的问题,对发展趋势进行剖析,并提出促进健康产业未来发展的对策建议。
期刊
润滑是保证空间活动部件性能和寿命的关键,润滑油供给是润滑系统的重要组成部分之一。受限于空间产品结构、体积、重量及不可维修性等制约因素,需要采用结构简单、性能可靠的微量润滑技术。本文针对空间用微量润滑的服役工况和技术要求,研制了一种空间用微量供油装置,并在重力环境中对微量供油过程中润滑油液的脱附行为进行了研究和性能优化。主要内容如下:(1)研制了微量供油器样机以及供油性能验证测试装置,并在大气环境、
学位