随着计算机视觉技术的日益成熟,视觉系统越来越多地出现在机械臂领域中。然而,仅仅利用二指夹手的抓取动作,扁平物体的抓取存在困难,成功率较低。引入机械臂推移动作,不仅可以将扁平物体推动到平台边缘,使其能够被水平抓取;还可以清除指定物体周边的阻碍,腾出足够的空间以供抓取。本文期望通过设计一套流水线算法框架,以场景的RGB图和深度图为输入,实现场景中物体的识别与定位,自主规划推移和抓取动作序列,智能地实现含有扁平物体的场景抓取任务。本文使用了一种自动收集和自动标记图像数据的方法,来制作语义分割数据集。该方法充分利用了高度自动化的机械臂-深度相机手眼系统和场景特点,大大减少了人力成本。通过排列组合,可以制作足够数量的数据使得模型得到充分的训练。本文提出了一种基于RGB信息与高度信息融合的语义分割方案来实现场景物体识别任务。区别于传统RGB-D直接融合的方式,本方案将深度信息转换为高度信息,再对高度信息进行一定的修改,以便颜色相同的不同类别的物体在高度信息上有所区分。本方案最终的表现相比传统RGB方案提高了 7.42%。对原始语义分割的输出结果进行后处理,可以得到场景中物体的类别、几何中心和主轴方向等信息。以这些信息作为输入,本文提出了基于马尔科夫决策过程的推移和抓取动作序列决策框架。该框架极力避免了推移带来的不确定影响,同时规划速度优于循环单步感知单步规划的框架。对于绝大多数目标场景,该框架可以智能地实现抓取任务。