强化学习以其优秀的序列决策能力,吸引了众多研究人员的关注。近年来,结合了深度学习技术的深度强化学习在众多领域都取得了突破性的进展。然而,深度强化学习算法常常因为采样复杂度过高的问题,无法广泛应用在现实环境的任务中。模型化强化学习通过构建环境模型,能提高样本利用率,有效降低采样复杂度。但是构建环境模型存在的误差会影响到策略的优化,最终影响算法性能。基于不确定性探索的方法利用环境的不确定性信息指导策略探索,既可以降低采样复杂度,又能避免陷入局部最优解。然而,现有此类方法主要集中在离散动作空间的任务中,无法直接应用于连续动作空间的任务。针对连续动作空间的任务,本文基于环境模型,设计了一种基于不确定性探索的模型化强化学习算法,主要研究内容如下:为了避免环境模型的误差影响策略的优化,本文提出一种新颖的模型化策略优化算法。在此算法中,环境模型不直接参与策略优化过程,减小了环境模型的误差对策略带来的影响。具体而言,该算法将不确定性量化表示为状态和动作空间上的函数,利用环境模型和价值函数计算不确定性函数指导探索,并提出了三种不确定性建模方法。第一种方法基于环境模型预测分布的代表值差异建模。第二种方法利用环境模型预测的分布差异建模。第三种方法利用集成价值函数的预测差异建模。因为连续动作空间无法枚举所有动作的不确定性,基于不确定性探索的方法难以直接应用到连续动作空间的任务中。针对该问题,本文提出一种在连续动作空间构建探索策略的方法。因为交互过程中考虑价值函数信息和不确定性信息能更有效地探索,本文算法基于最大熵目标框架下优化的目标策略,利用不确定性函数和二次采样法构造探索策略,有效利用了价值函数信息和不确定性信息。为了验证本文工作的有效性,本文在Open AI Gym框架的模拟环境中进行实验验证。实验结果表明,本文算法能有效的利用不确定性进行探索,相比于当前主流算法,既降低了采样复杂度,又提高了算法最终性能。