将人工智能应用于电力系统无功优化是电力系统智能化、人工智能技术实际应用和电力系统优化调度等多个热点研究方向的交叉,同时也为我国电力系统无功电压调控矛盾突出、电压优化控制难度大这些亟待解决的问题提供了新的应对方法。电力系统无功优化可以通过调节无功控制设备来实现,如变压器抽头设置、发电机机端电压和无功补偿电容器组投切。许多传统的优化控制方法如灵敏度分析、二次规划、线性规划,这些方法要求控制变量连续且目标函数可微,从而这些方法易导致“维数灾”而无法应用于大系统。本文从强化学习的优化原理出发,研究了多种强化学习方法应用于电力系统无功优化的控制策略,旨在实现有效地协调电力系统无功控制设备动作,降低电力系统的有功损耗,实现电网安全及高效地运行。首先,在简述强化学习的基础数学原理的基础上,将强化学习中的动态马尔科夫过程应用在实际电力系统场景之中,实现了强化学习在电力系统中数学模型的建立。仿真结果表明,强化学习算法可以求解无功优化问题。针对传统强化学习采用价值函数迭代寻优的方法不适用于大系统无功控制的问题,本文利用深度神经网络来拟合价值函数,从而将深度强化学习应用在无功优化问题中。其次,基于深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG),提出了求解无功优化问题的集中式控制算法,并设计了智能体与电网控制设备的动作信息传送机制。为了加快神经网络的训练速度,在全连接层之间添加归一化层,优化了算法的网络结构。算例分析结果表明,所设计的算法相比其他智能算法具有更高的求解效率;并且有更好的优化效果。然后,基于深度Q学习网络(Deep Q-Learning Network,DQN)构建求解无功优化问题的分布式算法模型。DQN分布在各个无功控制设备智能体,用来计算设备产生的控制动作的动作价值。然后智能体利用贪心算法来选择控制动作并执行,从而使得智能体兼顾强化学习过程中所需要的探索和开发。智能体产生的离散动作可以直接应用在电力系统中,实现了深度强化学习智能体对电力系统“端对端”的控制。最后,研究了通过各控制设备所在母线之间的有功功率传送,来挖掘各智能体的奖励数据,通过一致性定理获得全局奖励数据,建立了多智能体深度Q网络(Multi-Agent Deep Q-Learning Network,MADQN)模型。算例分析结果表明,所设计的控制方法可以有效降低电力系统有功损耗,相较于集中式算法降低了庞大计算量所带来的时间成本。