强化学习是机器学习领域一种非常成功的学习范式,如今在实际应用中体现出来巨大的价值,如棋类与游戏博弈、机器人控制、自动驾驶、生物制药等。值方法和策略优化是强化学习的两种主要方法。通用函数近似和自博弈训练范式的结合在值方法强化学习方面取得了巨大的成功。然而,这种组合的理论保证,如样本复杂度的上界,仍然尚不完整。另外,为了更好地理解策略优化算法及其学习理论,策略优化被发现可以看作是概率测度空间中的最优传输问题。但如何高效的基于最优传输框架解决策略优化是有待进一步研究的。基于上述分析,本文的主要研究内容如下:（1）第一部分工作的动机是这样一个问题:是否存在一个自博弈的、具有通用函数近似的、无模型的算法,且该算法是可证明有效的?本文提出了一种基于自博弈和通用函数近似的值方法强化学习算法,并证明了它的悔界的上界为??（????（??）√?）,其中?是总学习时间步长,?是一幕长度,?是函数类的复杂度度量,它取决于脱离维度和对数覆盖数。这达到了因子?的基于信息论的理论下界。并且据我们所知,在??记号下,在通用价值函数近似、无模型和无需访问生成模型的情况下,这达到了迄今为止因子?的悔界的上界的最好情况。（2）在将策略优化看作概率测度空间中的最优传输问题的基础上,利用瓦瑟斯坦梯度流解决强化学习问题是一个有前景的选择。并且通常使用乔丹-金德莱勒-奥托方法近似强化学习领域中的瓦瑟斯坦空间离散扩散过程。然而,解决与每个乔丹-金德莱勒-奥托方法步骤相关的优化问题会带来严重的计算挑战。为了在更大规模的问题上使用瓦瑟斯坦梯度流强化学习方法,本文通过引入凸输入性神经网络对乔丹-金德莱勒-奥托方法进行改进。