强化学习是机器学习的重要分支,是实现通用人工智能的重要手段。与其他机器学习方法的不同之处在于,强化学习是一个主动学习的过程。智能体通过与环境交互来获得经验,通过最大化奖励来学习值函数和策略。强化学习的核心问题是如何提升智能体对环境的探索效率。在有限状态空间中,探索方法使用状态计数和值函数置信区间的估计来获得高概率近似正确的理论保证,然而这些方法并不能直接应用于高维状态空间的深度强化学习任务中。在高维空间和稀疏奖励环境中,由于智能体需要探索很大的空间且缺乏奖励的指导,所以需要结构化的探索策略来引导智能体探索未知的状态,从而在未来获得更大的回报。同时,环境的多模态和随机性会影响智能体对环境的探索效率,在学习中需要鲁棒的探索算法。另外,区别于单一目标的学习问题,在多目标探索中目标空间和状态空间的耦合会使探索总空间增加,需要高效的探索算法来学习多目标策略。研究强化学习中的高效探索方法是面对高维状态空间、解决稀疏奖励问题、应对多模态和随机性、学习多目标策略的重要手段。本文从不确定性度量、多模态、鲁棒性和多目标四个方面研究强化学习的高效探索方法。四个方面的研究内容针对不同的学习挑战,针对性的提升了智能体在复杂决策场景中的探索效率。主要研究内容如下:第一,提出了针对大规模任务的不确定性度量理论和后序奖励传递方法。在高维状态空间中使用认知不确定性来度量智能体对环境知识缺乏程度,使用重采样网络和贝叶斯后验估计来估计值函数的后验分布,从而有效地建模环境的认知不确定性,在高维状态空间中实现了通用的不确定性估计。在此基础上,使用乐观探索准则鼓励智能体探索认知不确定性较大的区域,并提供了不确定性度量的理论保证。针对延迟奖励导致的训练低效问题,提出了不确定性在周期内高效传播的方法,极大提升了样本利用效率,并提供了收敛保证。实验结果表明,提出的不确定性度量和后序更新方法能够在大规模任务中提供有意义的不确定性度量,并通过奖励后序传播的方法提升了样本的利用效率。第二,提出了针对多模态复杂环境的变分推断模型和内在激励探索理论。将多模态环境状态转移转化为条件生成过程,以状态、动作、隐变量为条件来预测下一时刻的状态,并在理论上给出了变分推断的学习目标。隐变量通过采样来编码环境的多模态和随机性,将状态转移的变分下界作为优化目标,使用随机梯度法和重参数化方法进行训练。相比于现有方法中将多模态探索作为期望意义下的单模态探索问题,提升了环境建模的准确性,能够建模复杂环境中的多模态转移。在此基础上,在探索中以隐变量为条件来衡量环境的内在激励,具有收敛保证。实验结果表明,提出的变分推断方法能够建模复杂任务的多模态环境转移,提升了智能体在多模态环境中的探索能力,同时在真实任务中有良好的表现。第三,提出了针对环境随机性的动态瓶颈表征学习理论和信息增益探索方法。使用信息瓶颈理论来学习鲁棒的表征,通过最大化合理状态转移的互信息来保留与任务相关的信息,通过最小化表征的信息量来去除与任务无关的信息。针对高维空间的互信息最大化问题,在理论上导出了基于预测目标和对比学习的互信息估计方法。在鲁棒的表征学习基础上,提出了信息增益的内在激励度量方法,证明了该激励与线性值函数近似下置信区间估计和有限状态下的状态计数的等价关系,具有理论保证。基于信息瓶颈的探索方法可以寻找环境中具有高信息量的状态,同时避免了任务无关噪声的干扰。实验结果表明,在图像观测中添加多种噪声的情况下,该方法能够在探索中对噪声具备高度的鲁棒性。第四,提出了针对多目标任务的偏差分析理论和偏差校正探索方法。现有的目标回放方法使用虚拟目标来替换原始目标,从而带来密集的奖励。在理论上分析了现有目标回放方法的假设合理性,并形式化的描述了多目标学习的优化函数和偏差。目标替换会带来轨迹概率的改变,从而给优化函数带来偏差。根据偏差产生的方式和变化情况提出了基于重要性采样的偏差校正方法,随后使用现有的策略网络来计算目标替换中产生的偏差。给出了偏差校正的因果推断理论解释,使用偏差裁剪和批投影的方式来解决了实际偏差校正中的稳定性问题。实验结果表明,在复杂的机械臂抓取和机械手操作任务中,偏差校正后的多目标学习算法能超越多个基线方法,同时不带来额外的计算代价。本文针对强化学习探索问题,从不确定性度量、多模态、鲁棒性和多目标四个方面研究了强化学习的探索效率问题,提升了智能体在高维状态空间和稀疏奖励下的探索能力,在解决多模态、随机性、多目标环境中的探索问题中发挥了作用,在理论上和实践上提升了智能体在复杂场景中的探索效率。