为了使机械臂在非结构化环境下实现端到端的自主学习控制,本文基于深度强化学习算法结合视觉图像与运动学模型完成机械臂抵达目标区域任务,针对稀疏奖励环境下机械臂运动控制算法探索效率低、学习速度慢、样本利用率低等问题,研究设计了改进方法,提高了任务成功率。本文根据任务适配选择采用深度确定性策略梯度算法,设计了预设任务的机械臂控制方法总体框架,提出了一种结合重要性采样的机械臂运动控制方法,增大了有效样本的采样概率,提高了样本的利用率。在二维仿真实验中从平均奖励、平均步数和成功率三个标准分析了改进方法的效果,验证方法的可行性和有效性。在Coppelia Sim仿真平台中搭建了三维实验环境,实现了实验场景与控制应用程序的远程通信,基于该环境研究了以双目视觉图像为输入的6自由度工业机械臂的运动控制方法。在三维实验中设计了新的网络结构和奖励函数,依据三个评判标准对比分析了模型效果,相较于原始算法,改进算法的成功率提升了16个百分点。为了进一步提高三维环境下机械臂的学习速度和学习质量,提出了一种运动学奖励驱动的机械臂控制方法。基于机械臂运动学分析,通过解析法求解关节逆解值,以最小功率作为目标引导。从稀疏奖励、距离奖励和运动学奖励三个方面改进设计了奖励函数,仿真实验结果显示,改进方法相较于原始算法成功率提升了7个百分点。最后在三维仿真环境下使用综合改进算法测试分析了随机目标模型和固定目标模型的效果,在随机场景下综合改进算法成功率提升到33.5%,在固定目标场景下成功率提升到46.5%。