基于深度学习的目标姿态估计与机械臂抓取研究

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:deqiangranran
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能时代的来临,深度学习技术获得了广泛关注,并且近年来深度学习在全球各类目标检测赛事领域大放异彩,尤其在目标检测、识别领域已经广泛应用。但在实际工业环境下,仅仅检测识别出目标是不够的。随着人工智能时代的到来,机器人逐渐被用于工业与服务业领域。在工厂环境下,自动化生产线上的机械臂无数次重复着“抓取-放置”的操作,要准确快速的完成这一系列操作,仅仅靠简单的检测识别算法是不够的,还需要知道目标物体的位置姿态信息。因此本文开展目标姿态估计研究与机械臂抓取实验论文具体工作内容有以下部分:1、介绍三维物体识别和深度学习研究的背景意义,同时阐述相关理论包括深度学习算法理论、3D目标检测算法、相机标定原理、目标姿态估计原理等;2、在相机成像模型和目标姿态估计原理的基础上,分别对本文采集数据集所用相机和进行机械臂抓取操作所用相机进行了标定;3、研究了LINEMOD数据集制作方法并作出改进。数据集中主要包括目标的最小包围矩形的八个角点和质心点、目标的掩码(mask)和目标精准3D模型三个部分。首先搭建数据集制作平台,通过Open CV中的Aruco模块标定二维码来获取目标最小包围框的九个控制点的像素坐标;然后针对外形规则的目标,将八个顶点坐标两两连接,然后通过Open CV中的fill Poly函数来获得目标的mask;针对外形不规则目标,首先通过YOLOv3算法获得目标的定位框,然后利用目标分割算法Grab Cut进行精确分割得到目标mask;最后本文采用目标最小包围模型(MBM)代替精准三维模型来避开目标物体精准三维模型难获取的问题;并完成了一套自动生成数据集的代码,只需要输入目标的长宽高便可以输出完整的LINEMOD格式数据集。4、研究了以RGB作为网络输入的姿态估计算法。在本文自制数据集的基础上,提出了一种基于目标最小包围模型(MBM)的目标姿态估计算法,该方法将目标姿态问题转为预测目标MBM的九个点的二维坐标,再结合数据集中事先制作的目标3D MBM模型,通过Pn P算法计算出目标的初始姿态矩阵,该方法实现了端到端地目标姿态估计,能够满足对实时性要求较高的“抓取”操作。并在公开数据集与改进后的自制数据集上进行训练并对比分析结果,同时训练单目标检测模型与多目标检测模型;实验结果表明该方法在自制数据集和官方数据集上都获得了较好的预测结果。5、模拟搭建真实工业环境下的机器人抓取实验平台并进行机械臂手眼标定,将训练好的模型部署到机器人上进行抓取实验。采用Tsai-lenz算法对Co602a机械臂进行手眼标定并分析了机械臂运动轨迹规划算法;最后将目标位姿的计算结果输入机械臂系统,完成了对目标物体的抓取。
其他文献
超可靠低时延通信(Ultra-Reliable and Low-Latency Communication,URLLC)是第五代移动通信(5G)的应用场景之一,其物理层的设计方案将直接影响低时延和高可靠指标的实现,因此
情绪在人类日常交流中起到非常重要作用,在对话场景中进行情绪识别的研究有巨大的商业价值和研究意义。本文利用当前比较前沿的深度学习技术,主要研究了多人对话场景中的多模
在磁随机存储、纳米振荡器以及自旋逻辑器件领域实现快速低功耗控制磁矩是自旋电子学主流研究方向。电流驱动的自旋轨道矩效应作为自旋操纵磁矩的一种新的有效手段掀起了自旋
实际生活中,由于条件限制,当响应变量大于或小于某一阈值时,往往观测不到响应变量的真实值,此时,可以用Tobit模型来分析这类数据。参数模型是研究响应变量和自变量关系的一种有效工具,且优点众多,如精度高、解释性好、预测准确,因此本文考虑参数Tobit模型的有关问题。另外,由于测量设备、测量方法等因素会导致观测值带有测量误差,所以研究协变量有测量误差的参数Tobit模型是有意义的。回归模型的参数估计在
在现代通信中,语音会不可避免的收到外界环境干扰,这些干扰和干净语音在时域和频域上相互叠加,会造成通信质量下降,语音增强就是为了把收到干扰后形成的带噪语音尽可能还原为
在大数据时代,为了保证海量数据访问的安全性和便捷性,越来越多的人选择将个人有价值的数据存储在云端。然而,目前的云端服务往往由单一服务商维护,存在中心化服务器一旦被攻
对于铁磁金属的磁电阻,传统认为它来自于磁化强度M方向和外加磁场H两方面的贡献,由于M的方向与H有关,所以研究它们各自的影响是一个尚未解决的问题。通常,饱和磁化下多晶材料
行政诉讼原告资格是行政诉讼制度的基础,当下新《行政诉讼法》以“利害关系”作为界定原告资格有无的核心要件,但是针对“利害关系”定义,以及认定“利害关系”的途径并未明确规定,因而理论界与实务界并未就此形成统一共识。同时,源流于德国的保护规范理论,为我国判断原告资格实务运转增添了一种全新的模式。在本土化的尝试上,虽然有“刘广明案”为先导并在2018年奠定了规范基础,但作为“舶来品”的保护规范理论由于根植
行人再识别是指对不同摄像机视角下的同一行人进行识别匹配的研究。该技术主要应用于智能视频监控系统中,在计算机视觉领域中具有重要的学术意义和应用价值。由于近年来大数
近年来随着大数据、物联网等信息技术的快速发展,数据逐渐成为企业发展所必需的重要资源,但由于企业所拥有的数据资源有限,且获取成本过高,导致其发展受到严重制约。为解决企