深度强化学习是现代人工智能领域中一个重要的研究分支,可分为两大类:无模型和模型化。其中,模型化方法有较高的样本效率,但其渐近性能通常落后于无模型方法。最近,结合贝叶斯神经网络和模型预测控制的模型化方法,在有限时域的控制任务中的渐近性能可媲美无模型方法。然而,此类方法存在探索效率低下的问题。同时,其采用的模型预测控制算法,不仅在线规划的性能欠佳,而且部署阶段的计算复杂度大。针对上述问题,本文提出一种基于主动探索的模型化深度强化学习算法,主要研究内容包含如下三个部分:1)为了提升模型化方法的探索效率,本文提出一种模型不确定性感知的主动探索算法。首先通过最大化信息增益,推导出一种模型不确定性感知的探索奖励,然后利用深度神经网络集成和Wasserstein距离来近似实现,最后利用模型预测控制完成高效的主动探索。该算法仅需原有模型预测控制产生的环境状态数据,不需要额外用于探索的模型。在显著提升探索效率的同时,避免增加模型冗余度。2)为了提升在主动探索中模型预测控制的性能,本文提出一种基于重要性采样的模型预测控制算法。首先,在面向强化学习的贝叶斯推断框架下,利用多元高斯分布近似最优动作序列的后验分布。然后,通过重要性采样和矩估计法,最小化该高斯分布和后验分布的KL距离。相比传统的交叉熵方法,该算法引入动作熵来鼓励探索,并充分利用动作序列样本间累计奖励的差异。在提升控制性能的同时,减少算法迭代次数。3)为了降低部署阶段的计算复杂度,本文提出一种有限时域的模型化离线策略优化算法。在策略评估阶段,利用蒙特卡罗法在环境模型中采集有限时域的轨迹样本,以拟合动作值函数;在策略提升阶段,利用随机梯度下降法来最小化策略分布与动作值函数构建的玻尔兹曼分布的KL距离。由于策略网络的计算成本较低,所以该算法在逼近模型预测控制性能的同时,显著降低计算复杂度。本文基于四组稀疏奖励或探索难度高的强化学习环境进行实验,在样本效率、控制性能和执行效率这三方面验证了本文提出的整体算法及其三个算法部分的有效性。