采用分供模式的传统能源系统制约了能源利用效率的提高，随着化石能源日益紧缺，传统能源结构的弊端日益凸显，人们对于建立高效、清洁的新型能源系统的需求，促使能源结构向多能源紧密耦合、提高可再生能源渗透比例的方向发展，形成了多能互补的综合能源系统。为了实现综合能源系统资源的优化配置，最大限度地发挥综合能源系统的优势，有必要对综合能源系统进行能量管理。本文基于综合能源系统模型，建立了多目标能量管理的优化模型，并利用Q学习对该模型进行求解，提出了能量管理策略。本文对传统Q学习进行改进，提出了变学习率的Q学习和自适应Q学习算法，新算法在解决能量管理问题上具有速度高和精度高的优点。具体研究内容如下:
　　1.研究了综合能源系统的拓扑结构，根据能源之间的耦合关系对系统内的设备进行了建模，着重分析了以热电联产为代表的能源枢纽内部的能源转换关系，讨论了热电联产设备的运行方式，为能量管理研究打下基础;
　　2.通过考虑综合能源系统的运行成本和环境成本，建立了综合能源系统运行的评价体系，并在此基础上建立了基于Q学习的多目标能量管理的优化模型，利用Q学习算法得到了能量管理策略。通过算例仿真，研究了含储能设备和不含储能设备两种综合能源系统结构，一方面证明了Q学习算法的有效性和收敛性，另一方面说明了增加储能设备对降低系统运行成本的作用。此外，通过改变两个目标函数的权重，分析了多目标能量管理问题中两个目标之间的耦合关系。
　　3.由于固定步长的Q学习算法难以兼顾算法收敛速度和算法精度，本文在分析误差信号对算法迭代过程影响的基础上，提出了变学习率的Q学习。与固定学习率的传统Q学习算法相比，变学习率的Q学习算法在加快收敛速度和提高算法精度上具有优势。
　　4.为了解决连续状态的Q学习问题，在Q函数逼近的基础上，提出了学习率可变的自适应Q学习算法，算例仿真证明该算法能够加快收敛速度和提高精度。