随着社会经济的不断发展,物流行业的规模越来越大,人力成本以及自动化程度成为了限制物流行业更快速发展的因素。以机器人技术为代表的高新技术也因为物流场景较为复杂而难以推进物流行业的自动化水平。本文从典型物流场景出发,针对该场景下物品杂乱无序堆叠情况下的有序分拣问题中存在的难点,将整个有序分拣过程分解成杂乱无序堆叠情况下单个物体的定位问题以及单个物体的最佳抓取或吸取位姿生成问题。通过利用机器人、图像处理、深度学习等技术,本文设计了相应的算法解决以上的问题,通过在真实场景下的实验验证了算法的有效性,并由此给出了一套完整的基于视觉的机械臂自动分拣系统。针对杂乱无序堆叠环境下的单个信封和包裹的定位问题,本文采用基于深度学习的方法并使用RGBD相机。在实验室环境下模拟了物体之间相互遮挡堆叠的情况,利用Real Sense相机采集图像制作了数据集。对于信封的定位,本文采用基于RGB图像的单阶段检测方式获取单个信封的包围框信息。对于包裹的定位,考虑到包裹的形变特性以及抓取精度的要求,采用基于RGBD图像的实例分割的方法获取单个包裹的轮廓信息。杂乱无序堆情况下的单个物体定位问题的结果就由信封的包围框和包裹的轮廓信息给出。在确定单个物流物品的位置信息之后,本文还需要解决单个物品的最佳吸取或抓取位姿的生成问题。对于信封和包裹,本文虽然采用不同的分拣方式,但是设计了相同流程的位姿生成算法。该算法基于采样评价的流程,首先在定位给出的物体区域中搜索满足限制条件的候选吸取或抓取位姿,之后通过一个评价网络对每一个候选位姿进行评分,最终选取得分最高的那个位姿。对于不同的分拣方式,只需设置不同的限制条件来找出满足条件的候选位姿即可。最后,在实验室环境下搭建了一整套基于视觉的机械臂硬件系统并在开源机器人操作系统ROS下完成了软件系统的设计。然后模拟真实的物流场景,进行了实际的机械臂分拣实验。实验表明设计的算法可以解决典型物流物品的分拣,并且整套基于视觉的机械臂自动分拣系统是可行的。