为了适应现实世界中复杂多变的环境,智能机器人需要感知环境并做出反应,并通过多个动作来完成特定的任务。在工业生产场景下,现有的机械臂系统大多是基于人工设定的规则来执行动作,只能在固定位置抓起特定的物体,并将其放置到提前设定好的位置上。这使得其无法针对物体的形状尺寸选择合适的码放方式,只能处理固定位置形状单一的物体码放问题。在学术研究领域中,许多关于机械臂操作的研究都仅仅关注于抓取这一种动作,而忽视了抓取之后应该进行的操作,例如将抓起的物体码放在另一个平台上。为了解决上述不足,本文提出了码垛导向的抓取任务学习方法,可以端到端的通过自监督学习完成抓取-码垛任务。由于深度强化学习在近几年发展迅速,本文将其引入到所设计的系统中,利用深度强化学习提供的决策能力,由相机拍摄的图片理解环境,在不断试错的过程中学习并做出更优的动作决策。在本文中,无模型的深度Q学习方法被用于从零开始学习抓取-码垛策略。具体而言,本文通过两个网络将图像映射到机械臂的动作:抓取网络(Grasping Network,GNet)使用桌面和码放堆的图像来推断抓取的位置和方向,码放网络(Stacking Network,SNet)使用码放堆的图像来推断放这个物体的最优位置。为了实现长远规划,两个图像的信息在抓取-码放网络(Grasping for Stacking Network,GSN)中进行了 融合。考虑到强化学习本身所具有的样本效率低和难以训练的特点,本文设计了三个辅助任务,帮助网络提取任务相关特征,并加速收敛过程,提升最终表现。抓取辅助任务为桌面物体数量预测任务,码放辅助任务为码放堆高度预测任务。抓取-码放协同辅助任务是以物体为中心的特征学习任务,这一任务帮助抓取网络和码放网络融会两者的信息进行决策。本文在V-rep仿真环境进行训练并测试对比基线方法和消融实验,然后在真实场景中评估了 GSN和基线方法在抓取-码垛任务上的表现。最后证明了提出的抓取-码放网络可以胜任尺寸不同随机摆放物体的码垛任务。