探索和利用是强化学习区别于其他学习方法的主要特征。强化学习的算法在学习过程中,需要探索算法来平衡探索和利用。一个高效的探索算法使得智能体在与环境的互动过程中,更快的收敛到一个极佳的策略,提高训练的效率。本论文的研究是将智能体对于动作或是状态动作的熟悉度用于探索算法之中,并对于三种不同的环境提出了三种不同的探索算法。本文主要从以下几个方面进行探索算法的研究:(1)对于目前的四大类探索算法:扰动探索、未知乐观探索、好奇心探索以及汤普森采样的优缺点进行总结,肯定了乐观探索策略的思想,并基于状态动作熟悉度探索信号思想提出了探索算法。(2)分析了模型的均值和方差变化值的关系。将方差变化值作为熟悉度,提出了基于方差变化值的动作选择算法。在多臂老虎机环境下,进行了实验对比和分析,实验证明了这种探索算法比经典的探索算法在有限的拉臂次数下能取得更高的总奖励,并在双臂伯努利老虎机环境下给出了后悔值下界推导和证明。(3)扩展了基于方差变化值的动作选择算法。首先改进VTD算法,改进的VTD算法可以估计状态动作值的方差变化值,再利用改进的VTD算法估计的方差变化值设计出可解决MDP环境下的探索问题的动作选择算法。在极难探索的环境下与经典算法实验对比,该算法在有限的回合数下能够取得更高的奖励。(4)在复杂环境下提出基于蒸馏网络技术思想的动作选择算法。在复杂环境下的状态动作方差估计是困难的,所以本论文重新设计了状态动作熟悉度的评估方式。采用了蒸馏网络模型思想构造可估计状态动作熟悉度的方法,并以此设计了动作选择算法。在实验环境中,对比了不同参数对于实验结果的影响,同时也在不同环境下与其他算法进行了对比。从实验结果上来看,该算法能够在急需探索的环境取得更好的奖励回报。