随着强化学习的迅速发展。其他行业的研究人员也不断的将强化学习思想应用到自己的研究领域中。随着以强化学习为核心的应用不断增多,强化学习存在的问题也逐渐的暴露出来。其中最主要的一个问题就是强化学习的效率问题,强化学习在完成运动规划任务的过程中,需要与环境进行大量的互动,如果没有一个好的探索策略,会大大延长智能体学习的时间。除此之外,强化学习需要使用奖励函数来激励学习,而在实际应用中,外界环境往往是复杂的,智能体在学习过程中经常存在着奖励比较稀疏或是没有奖励的情况,在这种情况下,智能体则不能有效的进行学习。针对于强化学习的不足,本文分析了各类探索策略的优缺点。在基于计数的探索方式的基础上,提出了一种基于信息熵的新奇性奖励,用于激励智能体的探索。通过实验,我们证明了这种方式能够使得智能体获得对环境的更均匀的了解。通过在多个环境下的对比实验,证明了使用基于信息熵的新奇性奖励的模型能够获得比原始模型更高的环境奖励。本文在异策学习的强化学习算法的基础上,将智能体与环境的交互方式进行了改进。将智能体的策略分为了探索模型和动作模型,探索模型用于指导智能体探索,动作模型用于引导智能体完成任务。在训练过程中,本文采取图像作为观测状态,并使用内嵌的卷积神经网络对状态进行特征提取。利用新奇性奖励和值函数对探索模型进行训练,并将探索过程中的轨迹保存到缓冲区中,用于动作模型的训练。本文利用webots建立了多个不同的智能体运动规划任务的仿真环境,在不同的环境中将本文提出的方法与强化学习进行了对比实验,实验结果表明,本文提出的方法能够获得更高的环境奖励,并能够完成强化学习难以完成的任务。