强化学习算法是用于解决序贯决策问题的一类算法,与深度学习算法的结合推动了强化学习算法的发展。智能体通过与环境交互,增加对环境的认知,然后根据这些认知执行动作。“探索”是智能体在与环境交互过程中放弃当前最优行动,并通过执行其他行动增加对环境的认知以求获得长远利益的行为方式。提高所得策略的探索性能是强化学习算法面临的一个很大的挑战,而高效探索对智能体学到最佳策略起着关键性的作用。常用的提高探索性能的算法有乐观探索,不确定性优先探索、基于概率匹配的探索、基于信息熵的探索等。早期,这些算法是在多臂赌博机这一不包含状态空间的场景下提出的。之后,这些算法被推广到动作空间离散的马尔科夫决策过程中。本文旨在设计一种适用于动作空间连续的场景的策略探索性能良好的强化学习算法,用于求解如机器人控制这类包含多个自由度的系统中相应问题的策略。本文的算法包含策略网络actor和策略评估网络critic,通过交替训练这两个网络来得到最终的策略。本文基于概率匹配的思想构造了策略评价指标η（·）,并在贝叶斯统计推断的理论框架下证明了最小化贝叶斯推断损失与最大化critic网络参数的后验概率的等价性。从而将策略评价指标与概率分布联系起来,成功将基于概率匹配的提高策略探索性能的算法推广到动作空间连续的场景中。为了保证概率模型的灵活性,本文引入嵌套流模型拟合概率分布,并通过最小化能量函数更新随机网络的参数。这进一步提高了算法所得策略的探索性能且有助于跳出局部最优解,得到更好的策略。同时,本文提出的探索算法不仅适用于状态空间为位姿向量的场景也适用于状态空间为图片的场景。经过实验验证,本文的探索算法在包含多个自由度的复杂系统中可取得较高的平均回报。在Bipedal Walker Hard Core-v2和Ms Pacman No Frameskip–v4这两个仿真环境中,本文的算法效果超过了通过在输出策略上加随机扰动来达到探索目的的著名的TRPO算法。