在世界范围内,社会总能耗的40%来自建筑行业。在国内,建筑行业的能耗接近社会总能耗的20.6%。同时,建筑行业中超过50%的能耗来自暖通空调系统（Heating Ventilation and Air Conditioning,HVAC）。因此,针对HVAC开发和实施有效的节能控制技术对社会节能减排来说至关重要。目前,针对HVAC节能控制的方法主要分为基于模型的控制方法以及基于无模型的控制方法。基于模型的控制方法得到学者广泛的研究与验证,但该方法高度依赖准确的仿真模型。相比之下,基于无模型的控制方法无需大量的历史数据构建准确的仿真模型。基于无模型的控制方法主要分为基于规则的控制方法以及基于强化学习的控制方法。基于规则的控制方法往往是静态的,其控制规则的制定依赖工程师或者设备管理员的经验而强化学习控制方法不依赖工程师的经验并能进行自适应学习。因此,对于缺乏历史数据的旧建筑的而言,基于强化学习的控制方法更具有研究价值。本文围绕如何使用强化学习算法对缺乏设备运行历史数据以及设备性能模型的HVAC优化控制方法进行研究。基于实际案例系统的能耗分析,本文构建HVAC灰盒仿真平台,并利用强化学习算法对案例系统中不同型号冷机间系统冷负荷分配方式、冷却水泵频率以及冷却塔风机频率进行组合优化控制。主要的内容包括以下三部分:（1）针对实际案例系统缺乏设备运行历史数据以及设备性能模型的问题,构建出一套灰盒仿真平台。由于案例系统缺乏设备运行历史数据,因此无法通过数据驱动的方式回归出设备性能模型。该灰盒仿真平台通过将案例系统设备铭牌中的信息融入到Energy Plus中标准的设备模型,构建出冷机、冷却塔以及冷却水泵等设备的灰盒模型,然后按照案例系统的布局信息设计出各个设备的组合方式。该组合方式通过循环迭代处理冷却水出温度和冷却水回水温度的耦合关系。结果表明,灰盒仿真平台设计合理,可以作为强化学习算法预训练和实验的平台。（2）针对基于模型控制方法的性能高度依赖仿真平台准确性的问题,提出基于基于DQN的单智能体控制方法。该方法通过灰盒仿真平台预训练之后部署到实际系统中并进行自适应学习,而不要求仿真平台具有高度的准确性。在实际部署中,因训练样本分布不均衡以及组合优化多个控制点形成了大规模的动作空间等问题,导致基于DQN的单智能体控制方法策略学习较慢。针对该问题,本文在基于DQN的单智能体控制方法的基础上提出基于双池DQN的单智能体控制方法。该方法设计两个经验池分别存储不同类型的训练样本并按照特定比例选取样本进行训练。此外,该算法对行为策略进行优化,通过分类法压缩动作的选择空间。仿真结果表明,基于双池DQN的控制算法在策略学习速度方面有着显著的提升。（3）为进一步提升基于单智能体强化学习算法策略优化的速度,提出基于合作型多智能体深度强化学习控制方法。该方法建立多个子Agent分别优化每一个节点,将基于单智能体深度强化学习算法排列组合形成的动作空间压缩成多个Agent线性组合的联合动作空间,极大地缩小了动作空间。Agent之间通过共享奖赏以降低系统总能耗。但基于合作型多智能体受到环境非稳态性的影响,导致前期值函数估计不准确。针对该问题,在合作型多智能体深度强化学习算法的基础上提出一种管道通信机制。该机制对所有Agent进行优先级划分并通过管道传递Agent之间的决策信息,以降低环境非稳态性的影响。仿真结果表明,基于管道通信的多智能体深度强化学习算法在算法训练前期拥有更出色的控制效果。