现代电网已经发展成为了复杂互联电力系统,当电网中出现大功率扰动时,会引发系统频率波动并伴随联络线功率扩展至全网,无法保障电力系统的安全运行。能源互联网概念的提出和推广,促使人们为降低电网对高碳排放化石能源的依赖,因此,电网接入了各种清洁新能源以及分布式能源,对电网稳定性造成较大冲击,引发了不确定性和高随机性,从而造成电网有功出力随之极速改变,为电力系统频率控制问题带来较大难度。自动发电控制(automatic generation control,AGC)技术可克服这一难题,针对发电机组调整其有功出力来达到对电网频率的控制以及互联电网联络线交换功率的动态稳定。本文基于分布式AGC框架,以深度强化学习控制策略为基础,采用动作探索感知思维的深度强化学习算法,对以上问题进行综合求解,来获取强随机环境下的最优控制策略,进而解决分布式能源大规模接入电网所带来的随机扰动问题。首先,对AGC理论进行详解,介绍了AGC的控制目标、控制过程图等。并针对传统集中式框架的不足,从三个角度进行优化,提出了分布式控制策略。其次,概述了强化学习算法在AGC的应用优势,同时针对强化学习在一些高状态维度和动作维度下的维数灾难问题,采用深度强化学习的神经网络近似可有效解决该问题,更加适用于AGC领域。因此详细介绍了强化学习和深度强化学习的原理。接着,本文提出了一种具有动作探索感知自优化能力的多智能深度强化学习算法的分布式控制方法,使智能体学习探索时,能够实时增添动作,优化动作集,提升了AGC智能控制器作用下系统发电调节指令的实时精确性能,可得到分布式多区域的AGC策略最优解,大幅度增加了分布式新能源上网率。通过对IEEE标准两区域LFC模型以及综合能源模型进行仿真,与传统智能算法相比,DDQN-AD(double deep Q network-action discovery)具有更强的在线学习能力和动态性能,提高了算法的效率,拥有更强的计算广度、鲁棒性、综合决策能力,在减少碳排放方面效果显著。最后,提出了一种基于比例优先级采样机制的深度强化学习算法PRDDQN-AD(Prioritized Replay DDQN-AD)算法,主要针对DDQN-AD算法中样本池搭建方面,引入比例经验回放理论,对存入样本池的记忆单元率先进行优劣性估计,以加快训练速度,解决传统强化学习无法解决的由于大规模泛在物联所带来的维数灾问题,进而解决泛在电力物联网综合能源系统模式下的大规模随机扰动问题。通过大量的仿真实验,验证了所提算法的有效性。与其他智能算法相比,PRDDQN-AD拥有更强的学习能力,具有更快的收敛速度。