强化学习(reinforcement learning, RL)是一类重要的机器学习方法,在智能机器人、经济学、工业制造和博弈等领域得到了广泛的应用。然而目前的强化学习算法在可扩展性方面都有所欠缺,在学习任务的状态空间很大或状态空间连续时,开销非常巨大,甚至不能直接应用。同时,在实际应用中,收敛速度慢是强化学习的另一个主要不足。针对强化学习方法在大状态空间或连续状态空间的学习问题中存在的“维数灾”及收敛速度慢等普遍存在且严重的问题,本文从并行化强化学习过程的角度出发,提出了3种并行强化学习方法,主要研究内容概括如下：(1)提出了一种基于状态空间分解和智能调度的并行强化学习方法。这种方法首先将规模较大的学习问题分解成小的子问题,再对每个子问题进行并行学习。在学习过程中,通过一种自适应的智能调度算法选择收益较大的子问题优先学习。在算法收敛之后,通过合并各个子问题的结果得到整个学习问题的期望结果。本文还从理论上证明了基于状态空间分解和多Agent并行学习的Q学习算法的收敛性。(2)为了在具有延时回报特点的在线学习任务中提高时间信度的分配效率和使用资格迹的强化学习算法的收敛速度,提出了一种并行强化学习框架和一些可行的优化方法。该学习框架充分利用了资格迹算法内在的并行性,使用多个计算节点分摊值函数表和资格迹表的更新工作。(3)针对E3算法的理论收敛时间界限太大,在实际的大状态空间学习问题中学习效率较低的问题,提出了一种基于多Agent并行采样和学习经验复用的改进E3算法。所提算法对原始算法的改进体现在两个方面：在探索阶段,通过多Agent并行采样,快速收集模型信息,加速了模型构建过程；在利用阶段,通过保留最优值函数的方式复用算法的学习经验,提高了算法迭代计算值函数的效率。