强化学习是通过最大化智能体获得的累计奖赏的期望来求解最优策略的机器学习子领域。在求解最优策略过程中,往往会遇到探索和利用的困境。对此,强化学习中提出使用异策略方法来应对这个困境。然而,由于没有考虑行为策略和目标策略状态分布的不一致性,常用的异策略时序差分(Temporal Difference,TD)算法可能出现发散、学出错误策略和收敛速率慢的问题。本文针对这些问题,提出三种使用状态分布修正的异策略TD算法,可以概括为以下三部分:(1)在异策略评估问题中使用函数逼近方法的情形下,TD算法可能出现发散等问题。造成这些问题的直接原因在于行为策略与目标策略的状态分布不一致。针对此问题,根据遍历马尔可夫链(Ergodic Markov chains)具有稳态分布的性质,提出了一种状态分布修正方法,并且和TD(λ)算法结合形成新的算法。最后,通过实验的方式展现了提出的异策略TD算法可以解决由于状态分布不一致带来的问题。(2)重要性采样方法是异策略TD算法中必不可少的一部分,但是重要性采样方法的高方差问题非常常见且对算法的收敛速率影响较大。针对重要性采样方法的高方差问题,提出一种使用经验回放完成状态分布修正的方法。该方法可以避免重要性采样因子被直接用于值函数的更新,从而解决高方差问题。同时,也可以解决由于状态分布不一致带来的问题。(3)针对异策略TD算法可能会出现发散或者收敛速率慢等问题,提出了一种直接使用状态分布比来进行状态分布修正的方法,并且时间复杂度和空间复杂度都优于之前提出的算法。最后,为了消除人为构造的实验环境对于实验公平性的影响,采用了随机构造的MDP实验。实验结果表明提出的算法不但收敛而且比常用的异策略TD算法的收敛速率更快。