随着社会城镇化进程的不断发展,人们的生活水平也在不断提升,保持冬季室内温度的稳定舒适非常重要。而集中供热系统作为现代城市公共事业的重要基础设施,能够在冬季寒冷气候下为城市提供稳定可靠的高品质热源,改善人民生活,并且环保安全,价廉方便,具有显著的社会效益和经济效益。换热站作为连接热源厂热水和热用户暖气片等室内供热设施的中间节点,能够把热源厂的初始水温进行升降调控成合适温度后送给热用户。所以在不同的天气下如何调控供热水温,每次升降多少十分重要,并且针对不同建筑结构的小区,调控策略也应该与之适配。但是传统的气候补偿器控制策略存在模型简单、调节粗放、气候补偿曲线固定不变、不能及时获得室内温度反馈、无法通过预测提前控制等缺点,难以保证不同气候变化的情况下室内温度的稳定舒适。基于此,本文研究基于深度学习和强化学习的供热系统控制策略优化方法,主要工作包括以下几个方面:1.在天津市多个小区数百所业主家中部署安装实时温度传感器,平均每个小区各收集到了一整个供暖季三分之一房屋的室内温度真实数据。然后收集小区室外气象监测站监测到的同一个供暖季的气象数据和室外温度数据。并且从换热站取到同一个供暖季二次侧管网供热温度数据。对这些数据进行整合、清洗等,再以热力学定律为基础分析数据影响关系,并生成建模所需基础数据集。2.提出了一种深度多时差分网络MTDN,可以在原始数据量较少的情况下,充分挖掘数据集内的隐藏信息,同时可以根据实际需要对模型Loss进行专有设计,使其具备较高的预测精度和泛化能力。该网络以真值数据集作为输入,以多时差分数据集作为标签,基于热力学第一定律,以学习室内温度的热力学特性为目标,使得模型在保持预测精度的同时,结果也符合物理规律。并且通过实验验证了该网络具备稳定的预测效果以及对于房屋热力学特性较好的模拟效果,使其可以充当真实房屋环境的模拟器以及强化学习模型与之交互的环境。3.针对集中式供暖系统实际场景,将基于最大熵强化学习思想的SAC算法包装成策略优化器用于供热系统控制策略优化,因为最大熵因素的引入,使得其具备强大的探索能力,能够学到稳定的供热策略。针对室内温度实时舒适度引入表征人体热舒适度的专用评价指标PMV作为模拟器奖励项,针对室内温度长期稳定性以多个时刻室内温度方差作为模拟器另一奖励项,并对这两个奖励项进行加权求和,整合成模拟器整体奖励,使得策略优化器所学策略可以更好地满足实际场景。最后设计了相关实验,证明了该策略优化器所学的策略能够保证室内温度的长期稳定舒适。