论文部分内容阅读
随着人工智能时代的来临,深度学习技术获得了广泛关注,并且近年来深度学习在全球各类目标检测赛事领域大放异彩,尤其在目标检测、识别领域已经广泛应用。但在实际工业环境下,仅仅检测识别出目标是不够的。随着人工智能时代的到来,机器人逐渐被用于工业与服务业领域。在工厂环境下,自动化生产线上的机械臂无数次重复着“抓取-放置”的操作,要准确快速的完成这一系列操作,仅仅靠简单的检测识别算法是不够的,还需要知道目标物体的位置姿态信息。因此本文开展目标姿态估计研究与机械臂抓取实验论文具体工作内容有以下部分:1、介绍三维物体识别和深度学习研究的背景意义,同时阐述相关理论包括深度学习算法理论、3D目标检测算法、相机标定原理、目标姿态估计原理等;2、在相机成像模型和目标姿态估计原理的基础上,分别对本文采集数据集所用相机和进行机械臂抓取操作所用相机进行了标定;3、研究了LINEMOD数据集制作方法并作出改进。数据集中主要包括目标的最小包围矩形的八个角点和质心点、目标的掩码(mask)和目标精准3D模型三个部分。首先搭建数据集制作平台,通过Open CV中的Aruco模块标定二维码来获取目标最小包围框的九个控制点的像素坐标;然后针对外形规则的目标,将八个顶点坐标两两连接,然后通过Open CV中的fill Poly函数来获得目标的mask;针对外形不规则目标,首先通过YOLOv3算法获得目标的定位框,然后利用目标分割算法Grab Cut进行精确分割得到目标mask;最后本文采用目标最小包围模型(MBM)代替精准三维模型来避开目标物体精准三维模型难获取的问题;并完成了一套自动生成数据集的代码,只需要输入目标的长宽高便可以输出完整的LINEMOD格式数据集。4、研究了以RGB作为网络输入的姿态估计算法。在本文自制数据集的基础上,提出了一种基于目标最小包围模型(MBM)的目标姿态估计算法,该方法将目标姿态问题转为预测目标MBM的九个点的二维坐标,再结合数据集中事先制作的目标3D MBM模型,通过Pn P算法计算出目标的初始姿态矩阵,该方法实现了端到端地目标姿态估计,能够满足对实时性要求较高的“抓取”操作。并在公开数据集与改进后的自制数据集上进行训练并对比分析结果,同时训练单目标检测模型与多目标检测模型;实验结果表明该方法在自制数据集和官方数据集上都获得了较好的预测结果。5、模拟搭建真实工业环境下的机器人抓取实验平台并进行机械臂手眼标定,将训练好的模型部署到机器人上进行抓取实验。采用Tsai-lenz算法对Co602a机械臂进行手眼标定并分析了机械臂运动轨迹规划算法;最后将目标位姿的计算结果输入机械臂系统,完成了对目标物体的抓取。