强化学习（Reinforcement Learning,RL）是实现智能决策的重要方式之一,并且已经成功应用在许多领域。在强化学习中,策略评估是一个关键问题。当指定策略时,时序差分（Temporal-difference learning,TD）学习是解决该问题的重要方法之一。目前,针对TD的理论研究大部分是基于数据服从独立同分布假设展开的,但在实际应用中很难满足该假设。为此本文假设数据服从马尔科夫性质,提出了两种自适应TD算法,补充完善了TD学习的理论体系。主要研究工作如下。1.提出了一种面向马尔可夫采样数据的自适应TD（λ）算法。该工作是基于一个更宽松、现实的采样条件,即马尔可夫采样,在此基础上,提出了一种自适应TD（λ）算法,简称为ADTD（λ）算法。该算法通过将原始的TD（λ）算法与自适应算法相结合,实现了步长的自适应,减少了算法对步长选择的敏感性。此外,本文还分别给出了定步长和递减步长情况下该算法的非渐近分析。最后,通过实验证明了ADTD（λ）算法比原始TD（λ）算法性能得到了提升。2.提出了一种面向马尔可夫采样数据的分布式自适应TD（0）算法。本工作在多智能体强化学习环境下,对分布式时序差分算法进行了改进,提出了分布式自适应时序差分算法,即MS-ADTD算法。该算法是基于更现实的时变网络以及马尔可夫采样,它将分布式TD（0）算法与自适应算法相结合,从而实现了自适应步长,降低了算法对步长选择的敏感性。除此之外,利用一致性算法以及构造多步李雅普诺夫函数得到了该算法的有限时间分析。最后,通过实验对比了MSADTD算法与原始分布式TD（0）算法,进一步验证了该算法的良好性能。本文对面向马尔可夫采样数据的时序差分算法进行了深入的研究,基于更现实的前提条件,改善现有的TD算法。经过严谨的收敛分析与证明,得到了一些相应的理论性成果,为其实际应用提供了理论支撑。此外,实验结果也进一步表明了新提出的算法相较于改进前性能有了提升。本文的研究成果进一步完善了强化学习的理论体系,对其发展具有一定的积极作用。