论文部分内容阅读
机械臂抓取运动目标在工业生产、航天和军事应用领域有广泛的应用,是发展和测试机器视觉与机械臂控制技术中极具挑战性的研究课题。双目立体视觉系统相当于现代机器人的眼睛,为机械臂作为提供目标的方位,是机械臂成功抓取运动目标过程中的重要环节,本文以机械臂抓取空中球类飞行物体为背景展开研究,完成了双目立体视觉系统的标定工作,实现了立体视觉系统到机械臂基座的坐标转移,并利用立体视觉系统对飞行目标物轨迹进行了跟踪和预测。主要内容包括:在摄像机标定的基础上,通过分析摄像机成像模型,提出一种针对球类目标物,无需匹配和校正的一般条件下的定位方法,该方法基于一般视觉系统硬件条件,充分利用成像模型中的坐标系间的关系,建立约束,直接由目标物在两部摄像机成像平面上的坐标得到目标物在世界坐标系中的三维坐标,相对于一般的双目立体视觉定位方法,该方法在匹配特征点时采用的是灰度重心法,实现球类目标物中心的匹配,省去了一般定位方法需要的匹配和校正过程,有效地提高了系统效率和精确度;相对于简单的平视双目立体视觉定位方法,该方法对系统硬件条件没有要求,应用更广泛。用数学理论方法解决了机械臂与摄像机作业关系是手眼分离eye-to-hand情况下的手眼标定,通过构建一个新的坐标系,将机械臂坐标系到摄像机坐标系的旋转平移关系转移到新的坐标系与两个坐标系间的旋转关系,然后联立得到机械臂坐标系到摄像机坐标系的旋转平移关系,实现立体视觉系统获取的目标物在空间中的三维坐标到目标物在机械臂基座坐标系中坐标的转换,为机械臂抓取目标物提供方位,通过试验证明我们的手眼标定可以有效的指引机械臂靠近目标物。根据实验室现有设备,构建了一个双目立体视觉系统,重点解决了两部摄像机拍摄获取目标物所在场景的同时同步问题,通过QueryPerformanceFrequency(&)和QueryPerformanceCounter(&)控制两部摄像机间隔一定时间拍摄,实现获取图像的节奏与摄像机拍摄帧率同步,在很大程度上解决了获取图像和摄像机拍摄过程中的不同步和延时问题,对获取的帧图像在目标运动轨迹中的时间点的准确度有一定的保证,一定程度上提高了之后进行的轨迹描述和轨迹预测的精确度。在实现了视觉系统的定位和帧图像准确获取的基础上,我们获取了运动目标物的飞行轨迹,把多条轨迹作为样本,建立一个神经网络,对轨迹样本进行学习训练,实现飞行轨迹的预测,同时,我们使用运动模型分析目标物的飞行轨迹,实现对目标物飞行轨迹的预测,但结果显示两种预测方法并不能精确地提供飞行目标物的未来轨迹点,因此我们结合神经网络与运动模型,提出一种新的预测方法,通过神经网络对运动模型轨迹与实际轨迹的偏差进行学习训练,对运动模型轨迹进行补偿,结果显示,该方法很大程度上提升了预测的精确度,很好地满足了我们对预测精确的要求。