随着化石能源消耗的日益加剧、社会用电需求量的不断增加、电力设备老化等问题的不断出现,倡节能减排,推动可持续发展势在必行。由于建筑运营中电力能源消耗较大,且系统结构复杂等特点,建筑节能一直被视为节能领域的重点方向。此外,建筑与电网联系紧密,通过对智能电网中建筑物电力能源进行调度优化,可以实现节能的效果。在建筑电力能源调度方法中,人工智能的方法应用较多,而深度强化学习算法在多个领域的应用价值,使其成为了主要的研究方向。本文将对深度强化学习及其关于建筑电力能源调度的应用展开研究。由于传统强化学习算法存在收敛速度慢、探索效率低以及仅能用于小规模状态空间的问题,本文通过构建二阶TD模型,引入增量式评估,Softmax等方法,出两种改进的深度强化学习算法。通过系统的归纳分析智能电网中配电侧的建筑电力能源调度方法,利用深度强化学习对建筑电力能源调度问题进行建模,并求解最优策略,从而实现节约能源的目的。其主要研究内容如下:（1）为了确保离散动作空间任务中的动作选择保持稳定,针对深度强化学习中的DQN算法由于过估计所导致的收敛稳定性差的问题,出一种基于二阶TD误差的双网络DQN算法。基于传统的TD误差,出N阶TD误差的概念,并在此基础上,构造一种新的基于二阶TD误差的值函数更新公式,以高值函数估计的稳定性。同时,结合DQN算法,出一种基于二阶TD误差的双网络模型,构造两个同构的值函数网络,分别用于表示先后两轮的值函数,协同更新双网络参数,以高DQN算法中值函数估计的稳定性。基于Open AI Gym的实验平台,将所的算法用于Mountain Car和Cart Pole问题,通过实验验证,本节出的算法相较于经典的DQN算法具有更好的收敛性能。（2）为了保证连续动作空间任务中的动作选择能够稳定,引入增量式评估,并结合Softmax策略选择方法和深度确定性策略梯度算法,出一种策略选择方法。该方法通过引入增量式评估,对状态动作值进行估计,为动作选择供价值判断基础。该方法在增量式评估方法的基础上,引入Softmax策略选择方法,进一步优化策略选择,高算法收敛稳定性。基于Open AI Gym的实验平台,将所的算法用于Pendulum问题,实验结果表明,相对于经典的深度确定性策略梯度算法,所算法具有更好的收敛性能。（3）随着先进智能设备的发展,电力数据呈现多样化,复杂化的特点。在智能电网环境中,探索如何使用深度强化学习方法对建筑电力能源进行调度优化,是一个亟待解决的问题。本节使用两种深度强化学习改进方法探索了学习过程,并建立了电价与奖赏关系的策略模型,便于上述两种深度强化学习的算法进行学习。在某大型能源数据库上验证了所出的方法,这个高维度的大型数据库包含有关光伏发电,电动汽车以及建筑设备的信息。此外,还可以将这些建筑电力能源调度策略实时供给消费者,以鼓励更有效地用电。实验结果表明,改进的深度强化学习算法能有效地进行建筑电力能源调度优化。