基于MediaPipe的机械臂人机交互系统研究与实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:jigmei123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人与机械的自然融合可以充分发挥人的智能和机械的精巧能力,在军事、医疗及安防等领域具有重要价值。本文根据六自由度(degree of freedom,DOF)机械臂建模,并进行正向运动学(Direct Kinematic,DK)和逆向运动学(Inverse Kinematic,IK)仿真。对运动规划方面的问题深入研究,包括关节空间轨迹规划和直角空间轨迹规划。在此基础本文基于Media Pipe机器学习框架,从现有的单目相机获得图像或视频,对人体姿态进行预估获得各关节点位置信息,进行人机关节映射,控制机械臂复现人臂动作实时自然交互。本文主要工作如下:(1)本文对六自由度机械臂正向和逆向运动学仿真,在MATLAB平台根据改进的D-H法建立连杆坐标系,由代数法求解逆向运动学,通过蒙特卡罗法进行机械臂末端的工作空间仿真,验证了模型的正确性,为本文后续研究打好基础。(2)机械臂轨迹规划分为关节空间轨迹规划和笛卡尔空间轨迹规划。实现点到点路径作业时,为获取平滑的路径,在关节空间进行三次多项式插值及五次多项式插值仿真,获得机械臂各关节角角度、角速度及角加速度轨迹曲线,并分析对比结果。实现跟踪路径作业时,在直角空间进行直线插值和圆弧插值仿真,并对获得的插值点序列求逆解并分析结果。最终结果表明高阶多项式在关节空间规划有更好的表现,笛卡尔空间轨迹规划有更好的精确度。(3)本文研究基于机器视觉的人体姿态预估,说明人体骨骼模型和人体姿态识别模型,构建基于Media Pipe库的神经网络框架。根据图像测距及立体空间几何法将人体关节二维坐标集转换为三维坐标集,由空间向量法将坐标信息转为各关节角度,构建人机映射模型。本文设计了机械臂控制系统与机械臂实现通信,传递关节角度信息给机械臂,完成机械臂模仿人臂动作的人机交互(Human Computer Interaction,HCI)系统研究。本文结果表明人体姿态识别率较高,人体姿态映射到机械臂比较准,机械臂收到角度信息后能进行轨迹规划,从而在机械臂上复现人臂动作实现人机交互。
其他文献
汽车电驱动及总成系统需要较高的技术水准为门槛,但是在科学技术新的发展之下,汽车电驱动总成的开发时间也得到了极大的节省,产品之间的升级等变化速度增加,在新的环境之下,汽车零部件的生产企业在随之进行改变。特别是全球化的趋势逐渐增强,企业要想在市场竞争中占据主体位置,必须重视新产品的研发。通过对公司研发管理流程优化问题研究,发现流程中存在很多不合理的地方:复杂冗长、效率低下、管控缺失、过度管控、岗位职责
学位
随着科学技术的进步,各式各样的移动终端设备相继涌现,为人们生活及办公提供了极大便利。随着技术的发展和各行各业的需求,物联网技术掀起了新一轮信息化的浪潮。此外,5G技术的使用极大的加快了数据与信息交换的速度,推动人与人、人与物、物与物之间的沟通交流朝着越发便捷的方向发展。在新的市场竞争中,通信运营商凭借其在基础网络及用户基数庞大的固有优势,将逐步凸显出竞争优势。可以预见的是,未来的物联网市场将由通信
学位
2020年伊始,新冠疫情造成了人员流动停滞、企业远程协同难等问题。于此同时,中国政府开展了数十亿的新基建计划,蕴藏的不仅仅是产业升级的信号,更是数量可观的业务增长机会,此时顺应国家需求和跟紧发展潮流便是关键。R自动化有限公司(简称R公司),与1903年成立于美国密尔沃基市,至今已有118年的历史,是工业自动化、信息化和数字化转型领域的全球领先企业之一。在全球拥有24000名员工,分布超过100个国
学位
互联网和终端技术的发展实现了数据共享,使网络求职成为寻找工作的主流途径。但同时也出现了信息过载问题,目前多数职位推荐系统对隐式反馈考虑不足,也未充分挖掘职位描述的文本价值。因此,本文提出基于数据挖掘的职位信息可视化分析与个性化推荐,主要工作包括:(1)对职位数据进行预处理和可视化分析。基于网络爬虫技术采集到的真实职位数据进行特征清洗,然后从数值分布、单因素分析、多因素分析和词云图等多角度进行可视化
学位
教育公平的落脚点在于促进每一个学生的发展。课堂是传递知识,促进学生发展的重要组成部分。师生互动又是课堂教学的重要组成部分,公平有效的师生互动是影响学生学习效果的重要因素。本研究基于公平视角研究数学课堂的师生互动,研究在高中数学课堂中师生互动公平性的现状及其影响因素,并构建师生互动公平性的分析框架。本研究主要采用课堂观察法、录像分析法和访谈法。对一名高中数学教师的7节数学课进行录制,并对其进行访谈,
学位
几何变换经历了漫长的发展历程,在生产、生活中有重要应用,学生学习几何变换存在很大困难。因此本文根据Bergeron的数学理解层次理论,采用文献分析法、问卷调查法和访谈法,对黑龙江省哈尔滨市某市重点高中八个高二理科班的学生进行调查研究,从平移变换、旋转变换和轴对称变换三个维度研究学生平面初等几何变换的理解情况。运用SPSS软件对问卷结果进行定量分析,研究学生几何变换的直观理解水平、程序理解水平、抽象
学位
在发展迅速的当代社会,创新越来越受到人们的关注,《普通高中数学课程标准(2017版)》也强调了培养学生创新能力的重要性。为了提高学生的创新能力,我们可以从培养学生的发散性思维入手。为了掌握高中生数学发散思维能力的现状,高中学生数学发散性思维各特征的相关性,数学发散性思维与数学学业成绩的相关性,不同班级档次、不同学业水平学生的数学发散性思维的差异性,本研究以吉尔福特的三维智力结构理论中的发散性加工部
学位
数字技术的迅猛发展和普遍应用,改变了传统的知识获取方式,也对出版业产生了深刻影响。市场、产品、渠道等各方面的融合为教育出版开拓了更为广阔的价值创新空间,与此同时,教育出版产品形态不断更新,运营模式、价值传递、盈利模式等关键要素发生了巨大变化。传统出版企业原有单一化的商业模式已经无法适应更加多元化和动态化的产业环境,不利于企业在新融合市场内价值的开发实现。因而需要及时整合内外部条件进行创新来克服发展
学位
公民的姓名是由其姓氏和名字所构成,姓氏在传统观念里被认为是氏族血缘关系的象征,名字则是对公民个人的代表。但随着时代的不断变迁,姓名权行使越来越被人们所重视,公民姓名中的传统象征意义逐渐减低,人们更加追求对自我个性的表达,公民在取名和称姓的过程中往往会追求与众不同,因此,关于姓名登记的行政案件不断出现在大众视野当中。而公民的姓名权行使方式之一就是公民对其姓氏或名字进行决定或更改,但作为公民基本权利之
学位
翻译关联理论解释了语言交际和推理以及语境对翻译的影响。该理论从交际意图和信息意图、语境假设、关联性等方面阐释了翻译,并为翻译实践提供了指导。本文借助该理论,探讨翻译实践中冒险小说的翻译。本次所选的With Sword and Crucifix是Edward Sims Van Zile笔下的一本冒险小说。本次研究范围为前6章,该小说情节起伏,人物性格突出,以殖民开拓时代为大背景,讲述了主人公在密西西
学位