目前,随着深度学习等技术的发展,机器人系统的智能化水平越来越高,在工业、医疗等行业取得了较好的应用。人们期待未来机器人能够走进人们的生活,与人共存,为人提供服务,这要求机器人不仅具有较好的移动能力、作业能力,还需要具备对人居等复杂非结构化环境的适应能力。能够自动辨识系统环境,并依据环境变化动态调整其移动和作业轨迹。非结构化环境下的轨迹规划,是机器人领域研究的难点之一。本文在对比分析现有机器人轨迹规划方法的基础上,将深度强化学习引入机器人轨迹规划,开展非结构化动态环境中的机器人轨迹规划研究。一方面针对移动机器人的二维平面运动,将人工势场法和改进的双重深度Q网络相结合,实现移动机器人非结构化动态环境的轨迹规划;另一方面针对六自由度机械臂的三维空间运动,提出一种基于软演员-评论家和g SDE的机械臂轨迹规划方法。在此基础上,本文进一步研究离散型和连续型深度强化学习在非结构化动态场景中,探索效率低下和算法奖励稀疏的问题。本文的主要工作如下:首先,介绍机器人动态轨迹规划及深度强化学习的国内外研究现状,阐述深度强化学习方法在机器人动态轨迹规划中的应用情况,分析比较经典规划理论和深度强化学习规划方法的优缺点。然后,对机器人运动学模型进行分析,并对比研究机器人动态轨迹规划的人工势场方法、深度强化学习方法和g SDE方法。其次,在此基础上,将深度强化学习方法与传统轨迹规划方法结合,提出PF-IDDQN四轮移动机器人二维平面运动轨迹规划方法;将高效探索方法与深度强化学习方法结合,提出了g SDE-SAC的六自由度机械臂三维空间运动轨迹规划方法。上述两种方法提高算法的奖励函数值、轨迹规划的成功率和机器人的探索效率,使机器人可在非结构化动态环境中自主移动和作业。最后,在以四轮移动机器人和六自由度机械臂为基础的仿真平台上验证本文提出的两种改进算法,设计仿真实验环境和实验任务,以评估所改进算法的性能。结果表明,本文提出的PF-IDDQN算法使得移动机器人在非结构化动态环境中,可以在有限探索次数内到达目标位置,算法的实验成功率达到97%以上,平均奖励值提高230,而经典算法无法完成任务;基于本文提出的g SDE-SAC算法使得机械臂在非结构化动态环境中可以抓取目标物体,并规划出一条通往目标位置的无碰撞轨迹,相对经典SAC算法,本文提出算法的实验成功率和奖励函数值分别提高了约12%和19%,验证了算法的有效性。