面对复杂多样的环境,机械臂怎样快速高效地完成任务是一个很大的研究热点。近几年来,随着深度强化学习技术的兴起,这种技术在机器人上的应用也受到了广泛的研究。利用强化学习算法,可以使得机械臂在不断试错中自主地去优化规划策略,最大化得到的奖励,从而实现最终的规划目标。本文将在堆积物体抓取、B超探头移动以及模仿图像三个方面分别讲述深度强化学习在机械臂上的应用研究,通过将深度强化学习与其他算法相结合,实时地规划机械臂完成这三种不同的任务。堆积物体的拾取一直是机器人研究领域的一个具有挑战性的课题。为了降低策略学习的难度,本文提出了一种基于深度强化学习和图像处理方法的机器人从桌上杂堆中抓取物体的框架。为了对桌面的物体进行操作,本文主要将机器人的动作分为两类:一类是使用强化学习方法的推动,另一类是通过图像形态学处理来推断的抓取。面对多物体堆积的情况,推的动作可以将堆叠的物体分开,为接下来的抓取创造一个稳定的抓取点。该框架把推和抓相结合,在保持较高的抓取成功率的同时降低了计算复杂度,能够快速实现堆积物体清理。在医学领域,B超是诊断疾病的重要手段,利用机械臂对患者进行自主B超检查能够减少医生的重复工作,为此本文研究了如何基于医生采集的数据学习B超探头检测肾脏的移动策略。通过B超图像感知决定B超探头的下一步姿态之后,能够控制机械臂运动使得位于机械臂末端的B超探头到达指定姿态,从而实现自主B超检测。在采集到的数据中通过筛选得到轨迹良好的数据,并使用监督学习算法从中学习从图像到探头动作的映射。在监督学习的基础上,本文提出了一种利用非平衡数据的强化学习算法,提高了B超数据的利用率并增强网络对未知人员的泛化能力。模仿图像是指给定一张目标图片,在目标图片中机械臂处于一个特定的状态,然后根据该目标图片控制处于初始状态的机械臂运动到特定状态。本文使用一种包含变分自编码器网络以及强化学习网络的框架,通过输入期望图像自主控制机械臂执行动作,使得其实际状态的图像与期望图像一致。在该框架中,图像被编码器处理后得到较短的特征编码,然后以编码作为强化学习的状态表达。本文利用编码之间的欧氏距离设计了定制的奖励函数,改善了网络的收敛性。该架构相比于普通的端到端强化学习网络更加具有通用性,可以应用于不同的目标以及任务。