面向单目手势识别的边缘设备机械手抓取系统开发

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:xzjwl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能与工业自动化的大范围推广,人机交互和远程操控等应用越来越普及。然而传统的手势识别算法大多需要依赖PC平台的算力或者借助专用的手势传感器设备,本文意在把要依赖于PC端强大算力才能运行的手势识别算法,移植部署到边缘设备中,实现手部同步操控机械手的目标,从而降低产品的开发成本和增加设备的推广。本文的主要工作如下:根据给定预算和想达到的目标进行硬件选型,其中主要包括:边缘设备,桌面级五轴机械臂,舵机驱动板,RGB摄像头等。搭建边缘设备的系统平台,在微型机上烧录好专门的镜像系统,编译ROS环境和编译算法所需要的各种依赖库,在PC上使用C/C++语言编写手势识别算法并进行三维建模显示,然后移植到边缘设备上进行测试。算法的编写流程为从单目摄像头中采集手部图片信息,依托谷歌开源框架Mediapipe的Tensorflow Lite模型,编写接口得出21个手部骨骼关键点的3D坐标,以此为数据进一步计算手部特征(手掌法向量,手掌摊开面积,舵机末端位姿等),并使用Open GL ES进行三维建模显示。编写机械臂的UDRF模型文件,并在ROS Gazebo仿真平台下搭载机械臂仿真环境进行算法测试与验证。利用ROS Moveit!中的TRAC_IK逆运动学算法和FCL碰撞检测库,推算出机械臂的旋转角度。通过ROS Topic通信机制把数据传递给用Python语言编写的舵机控制进程,依托于厂家给出的舵机控制Python-api接口,输入角度通过扩展板控制机械臂的运动。最后通过观察机械臂运行结果,测试算法可行性和分析结论,并分别测试程序在树莓派Pi 4和Jetson Nano 4GB的运行时间和效果,比较两者的特点和优劣。
其他文献
借壳上市在我国资本市场经历了一轮快速的繁荣与回落,国内的壳资源市场也发生了显著的变化,因此壳资源价值评估是个重要的理论和实践问题。当前,壳资源价值评估方法主要有收益折现法、市场法、成本法和实物期权法等。由于收益折现法中的折现率很难确定,市场法难以找到可比参照物,成本法只能体现壳公司的账面价值,而恰恰壳资源价值本身又具有实物期权不确定性和可选择性这两种特点,因此近年来实物期权法逐渐成为评估壳资源价值
学位
随着我国经济社会的发展与宏观环境的复杂化,现有的并购支付工具已不足以满足所有企业并购的需求,在此背景下,证监会于2018年推出定向可转债这一并购支付工具。定向可转债具有降低融资成本、延缓股权稀释等优势,能为企业开展并购提供帮助。海正药业在并购过程中不仅使用了定向可转债这一新型并购支付工具,且使用定向可转债支付对价的比例高达41.25%,最终顺利完成了并购,具有一定典型性。因此,本文以海正药业并购瀚
学位
合理的建筑热工设计室外计算参数是提高建筑能效和降低建筑能耗的重要途经。我国“民用建筑热工设计系列规范”经历了JGJ 24-86《民用建筑热工设计规程》、GB 50176-93《民用建筑热工设计规范》和GB 50176-2016《民用建筑热工设计规范》三个阶段。围护结构保温、隔热和防潮设计是建筑热工设计的主要研究内容,根据围护结构传热和传湿基本原理以及室外气象参数,规范对围护结构的热阻等参数用计算公
学位
房地产行业作为促进我国经济发展的支柱型行业近年来发展不顺,随着国家对房地产行业所出台的一系列调控措施更是加重了房地产行业的生存压力,进行业务转型升级和多元化发展成为了不少房企实现长远发展的新方向。同时,由于房地产行业的不断发展,集中度不断扩大,使得中小房企的经营压力进一步加大,不少中小房企在近几年净利润持续负增长,有些甚至甚至出现了资金链断裂的情况。在经营环境不佳的情况下,部分房地产企业为了改善经
学位
矿用带式传输机上的异物一直是影响矿山安全生产的重要因素之一。矿用带式传输机上异物引发的事故频现,其原因往往是没有对矿用带式传输机上的异物进行检测与剔除。这些异物的存在可能会造成皮带以及相关机械的损坏,进而引发严重的安全生产事故。本文以矿用带式传输机上可能导致安全生产事故的异物为研究对象,探讨一种高速且准确的异物检测方法,保障矿用带式传输机的生产安全。主要研究工作有:(1)矿用带式传输机异物样本数据
学位
随着区域化进程的加快,在虚拟的信息技术与实体的高快速综合交通体系的交织下,大幅度缩小了空间阻抗与时间成本,人员、货物、信息、资金等要素在城镇之间与城乡之间的流动日趋频繁,进而形成网络化、扁平化的空间组织形式。基于“流空间”视角的网络化逻辑与城镇及城乡共同发展的网络化和系统化现实趋势及发展需求相契合。富平县位于特大城市西安的边缘区,城乡人口跨区域越级流动导致城乡关系并非传统意义上的“城—镇—村”等级
学位
重金属废水对于人体健康以及生态环境的危害十分严重,实现无害化安全处置重金属废水对社会与环境具有十分重要的意义和价值。吸附法应用于重金属废水处理当中具有使用能耗低、操作简单和处理效果稳定等优势,工程应用广泛,但选择合适的吸附材料是关键。天然沸石因具有原料来源广、成本低等优势,常被作为吸附剂使用,但存在吸附容量低、自支撑能力差等功能缺陷。以固废资源化为特征的地质聚合物凝胶结构中存在结晶度差的类沸石相,
学位
油画作为一种舶来品,在中国存在已有400多年的历史,但它真正受到国人的喜欢,并作为一种时尚而被纳入到提高国民素质的教育体系内,却是近百年的事情。引进国外油画教材能够帮助油画爱好者接触到油画艺术研究前沿成果,开拓视野与思维,更好地促进国内油画艺术的发展。本篇实践报告选择油画技法文本《油画大师》一书的部分章节进行翻译,结合教材文本与美术文本的特征,并基于认知语言学翻译观的四个基本观点(体验性、互动性、
学位
流密码(序列密码)加解密速度快且便于硬件实施,在数据保密、扩频通讯、码分多址等系统有广泛应用,是现代密码学的研究热点之一.分圆序列因具有良好的平衡性成为序列密码的研究热点.分圆序列为抵抗Berlekamp-Massey算法(BMA)、有理逼近算法(RAA)等已有算法的攻击,应满足:低值自相关函数、高线性复杂度、高2-adic复杂度等.本文研究了两类分圆序列的构造,密码学性质及其应用,主要结果如下.
学位
河西走廊地区是我国重要的多民族聚居区,也是中华民族发展历史上主要的多族群交融地区。白银乡康乐镇位于张掖市肃南县,有着独特的丹霞地貌特质和多元民族文化景观。本文通过田野调查、文献查阅等方法,首先阐述白银乡康乐镇多民族交流交往的历史,其次解读了白银乡康乐镇场地现状问题,在多民族文化交融的角度对白银乡康乐镇进行景观规划设计,从而实现梨园河两岸白银乡康乐镇特色民族文化和多民族聚居景观空间保护与发展,展现出
学位