1997年NERC正式推出了联络线功率与系统频率偏差模式下互联电网自动发电控制(Automation Generation Control, AGC)的控制性能标准(Control Performance Standard, CPS)。随后,在CPS标准下,大量研究者提出了各种不同的AGC控制策略,如经典的控制策略,自适应控制策略,及现代智能的控制策略等。强化学习是一种重要的人工智能控制方法,它具有自学习和动态随机优化等优点,因此,近年来,强化学习方法开始应用于电力系统自动发电控制中。为了进一步提高强化学习方法在自动发电控制中的控制性能,本文做了如下几方面的工作。(1)编写了基于平均报酬模型的R学习算法,并在标准两区域模型中,设计了基于R学习算法的CPS控制器。仿真结论表明:R控制器追求整个学习过程的平均利益的目标与CPS标准注重电力系统AGC考核时间段内平均收益的目标相吻合,因此,在标准两区域模型中,它表现出良好的随机控制性能,学习效率及收敛速度明显优于基于折扣报酬模型的Q学习控制器。(2)编写了基于平均报酬模型的具有多步回溯功能的R(λ)学习算法,在标准两区域模型及火电占优的南方电网模型中,设计了基于R(λ)学习算法的CPS控制器,并与基于R学习,Q(λ)学习算法的CPS控制器进行了对比仿真实验,仿真结果表明:多步回溯的R(λ)学习算法在每个时间步,对所有状态的动作状态值进行更新,与单步的R学习算法相比,具有更高的学习效率及更好的收敛性;并且可以解决延时强化学习的信度分配的问题,在存在火电机组大时滞环节AGC系统的南网电网模型中,仍可以表现出较强的适应性及鲁棒性;另外,R(λ)控制器学习比Q(λ)控制器学习效率更高,收敛速度更快,这再一次说明,在CPS标准下,基于平均报酬模型的强化学习控制器表现优于基于折扣报酬模型的强化学习控制器。(3)提出了改进的R(λ)控制器,其预学习过程被一种新型的在线“模仿学习”所代替,克服了以往强化学习控制需要另外搭建仿真模型来进行预学习收敛的严重缺陷。两区域模型及南方电网模型仿真结论均表明:改进的R(λ)控制器具有“全过程在线学习”的特点,没有了盲目的试错学习阶段,因此不必搭建高精度的数字仿真模型进行离线预学习,极大地方便了强化学习控制器在实际电力系统中的应用。(4)编写了分布式强化学习算法—CEQ算法,并基于此算法设计了CPS控制器。但由于CEQ算法采用联合状态及联合动作,故其在线寻优空间巨大,收敛速度较慢。因此,本文采用PI控制器校正CEQ控制器,并在两区域模型下进行了仿真研究。仿真结果表明:1)PI校正环节能够有效解决CEQ控制器不能快速收敛的问题;2)分布式强化学习算法在多智能环境下适应性更高,能提高控制器的控制性能。本论文的研究得到国家自然科学基金面上项目(50807016);广东省自然科学基金项目(9151064101000049);中央高校基本科研业务费专项资金(2009ZM0251)的资助。