在复杂场景中,用机械臂抓取动态不规则物体是一项非常困难且具有挑战性的任务。为了获得高精度的物体位姿估计,我们提出了一种基于多目RGB信息的高精度无纹理三维物体跟踪方法。在实验过程中,我们发现机器臂的运动感知需要昂贵的传感器。一些廉价的机械臂甚至没有装配传感器,或者所需的精度很难达到,抑或者传感器捕获的数据有故障。在本文中,我们提出了一种基于单目RGB信息的多关节机械臂跟踪方法,该算法使用环境中廉价的设备,如外部摄像头,可以稳定、鲁棒地跟踪无纹理或弱纹理的机械臂。因为机械臂有了冗余视觉传感器,在机械臂传感器故障时也能提高其工作的安全性。为了监控动态物体抓取,我们构建了一个增强现实系统,该系统可以可视化跟踪结果以及与抓取任务相关的所有其他线索,例如物体运动轨迹及其预测轨迹、机器臂的运动规划,以及在真实环境中实时抓取物体。我们可以进一步评估抓取过程中每个步骤的结果,发现抓取过程中的问题。实验结果表明,该系统能够在复杂环境下监控并完成动态物体抓取。本文的主要贡献如下:1、提出了一种基于多目RGB信息的高精度无纹理三维物体跟踪方法。该方法建立了物体中心坐标系,为建立多个相机间的关系提供了统一的坐标系。通过获取不同相机视角下同一个物体的图像特征并统一到物体中心坐标系下,可以有效消除物体位姿的不确定性,从而实现物体位姿的精确估计。这种一步优化的策略极大地提升了跟踪精度,可以为单目跟踪数据集构建提供方法基础。在测试时,我们发现双目相机即可满足需求。2、提出了一种基于单目RGB信息的无纹理机械臂关节姿态跟踪方法。该方法使用基于区域跟踪方法的图像特征,并充分考虑了机械臂相邻关节之间只存在一个自由度的先验信息。一方面,该方法可以为没有传感器的机械臂提供相对精准的关节姿态信息,实现该类机械臂的自动抓取或更加高效地辅助抓取;另一方面,该方法也可以用于实时监控机械臂使用中传感器是否出现问题,从而及时发现问题,避免不必要的损失。3、实现了一种面向运动物体抓取的增强现实监控系统。该系统使用双目跟踪算法获得精准的物体位姿,然后针对特定的物体运动模式预测物体位姿,并通过预抓取和抓取两步骤完成抓取任务。同时使用单目机械臂跟踪方法估计各关节姿态。通过该系统,研究人员可以直观地了解到在整个抓取过程中,各个步骤可能出现的误差,以及这些误差对抓取是否成功的影响。最终,通过适当的调整,监控系统便可以完成运动物体的抓取任务。