目前,实现碳达峰、碳中和是党中央立足国际国内两个大局做出的重大战略决策,中央首次提出构建以新能源为主体的新型电力系统,意味着微电网将快速发展和获得广泛的关注。微电网作为分布式电源的重要表现形式,主要用于处理分布式电源与主电网之间的关系。微电网的运行模式分为并网模式和孤岛模式。在并网模式下,微电网与主电网相互支撑,并由主电网协调控制微电网的运行。但在孤岛模式下微电网脱离主电网独立运行,分布式电源输出的不可控性可能会导致系统电压和频率偏离额定值,导致供电质量的下降;传统的控制方法需要大量仿真实验获得最优化的控制参数,结构拓展性差,不能适应电网中拓扑结构、设备数量等的变化。针对这些问题,由于强化学习算法具有自主学习能力并自适应各种复杂环境,适用于结构多变的孤岛微电网,本文在完成初级控制器设计的基础上,引入强化学习中的Q学习算法设计次级控制器以实现孤岛微电网系统的电压和频率稳定在额定值。论文首先针对孤岛微电网系统引入了微电网分层控制结构,将微电网控制分为初级控制层、次级控制层和三次控制层。初级控制主要用于调节微电网的电压和频率以实现系统安全稳定的运行。通过建立微电网分布式电压源型逆变器的数学模型,采用下垂控制策略,保证孤岛微电网内电压和频率的稳定,从而使得分布式电源能够合理出力来分担相应的负荷。其次,由于在孤岛微电网中初级控制层采用下垂控制策略,针对其功率分配导致系统频率和电压偏离额定值的问题,论文在次级控制层的设计中引入了基于强化学习的Q学习控制策略。其中将微电网系统中各分布式电源视为单个智能体,智能体状态设置为系统初级控制层中的频率和电压与额定值的偏差,系统有功、无功功率调节量作为智能体的动作策略。通过对初级控制中频率和电压偏差状态的检测,各分布式电源智能体根据Q表选择有功、无功功率调节的动作策略,将其作为补偿信号传递给初级控制层,初级控制层将频率和电压的偏差变化作为下一个状态反馈给智能体继续进行迭代更新Q学习算法。最终微电网系统实现自适应补偿初级控制层导致的频率和电压偏差,使其恢复至额定值,从而保证孤岛微电网的稳定运行。最后,在Q学习频率和电压次级控制器的预学习初始化后,利用Matlab/Simulink平台搭建微电网两台分布式电源并联运行的仿真模型,分别对微电网系统的初级、次级控制策略进行了仿真分析,仿真结果表明基于强化学习的Q学习频率和电压次级控制器能有效补偿微电网系统频率和电压偏差,使其恢复至额定值,提高电网输出电能质量。