论文部分内容阅读
三维对象识别与定位一直是自动化领域的难点问题,现有的三维对象识别和定位方法包括双目立体视觉、条纹结构光辅助、线激光扫描三维对象、定点测距方式、超声测距以及核磁共振。本文在六自由度机器人与CCD相机构成的手眼系统(Eye in hand)基础上研究了基于机器人虚拟双目系统,为三维对象识别与定位提供了一种新的方法,通过六自由度机器人摆动一个与其有相对固定位置的CCD相机分别到两个不同位置摄取目标物图像,识别每幅图像目标物的特征,将其识别的目标物特征进行立体匹配,获取目标物的三维信息,最终实现三维对象识别与定位。相比较现有的三维对象识别与定位的方式,虚拟双目具有结构简单,运动方式灵活,适用性广的特点。本文研究了基于机器人虚拟双目的姿态测量原理、机器人摄取图像姿态的规划、三维匹配以及三维重建的原理、三维重建的误差来源及补偿。最终实现了目标物的三维对象识别与定位。首先,从理论上论述了基于机器人虚拟双目系统的工作原理。基于双目立体视觉三维恢复的原理,结合机器人控制技术,通过将CCD相机摆动两个不同位置摄取图片,在获得相同点的不同相对位置信息之后采用三角测量原理,恢复出该点在空间坐标中的实际位置。并对上述过程中所涉及到的相机坐标系的标定、相机与机器人之间的手眼标定做出了理论分析和论证,对如何通过同一点的两幅图像获取空间中该点的空间坐标位置做了理论分析。其次,本文通过卷积神经网络输入首幅图像的姿态信息,把首幅图像摄取姿态估计的主要模块构成一个联合深度学习的框架。通过人为监督,构建出一套训练样本,通过这些训练样本优化了模型参数,通过实际拍摄的首幅图像,完成目标物姿态的估算,规划出机器人第二幅图像摄取姿态。最后,研究了三维匹配算法的理论,对如何识别图像中的特征点进行了分析,探究了如何应用极线几何理论实现两幅图像中的特征点的匹配,并对如何进一步实现目标对象的三维重建做了研究,分析了三维重建的误差影响及其来源,研究了如何消除三维重建的误差影响,并通过实验论证了上述研究。