随着生活水平的提高,供热过程中人们对供热舒适性的要求越来越高。目前城市建筑集中供热末端“全开”和“全关”的控制方式既降低了室内的热舒适性,也造成了不必要的热量损失。如何提高供热舒适性的同时,实现供热节能是当前城市建筑集中供热亟待解决的问题。在“国家十三五重点研发计划”子课题“机电设备系统实时优化调控工具开发及应用示范”(编号:2017YFC0704207-03)资助下,论文以集中供热末端为研究对象,开展集中供热末端控制策略研究,完成的主要工作如下:(1)基于传热学理论,从维护结构、窗户、干扰热源和太阳辐射等各个方面分析了供热空间的热动态过程,建立了供热空间的热平衡数学模型,为供热末端控制策略研究和控制器设计提供了理论依据;(2)在分析比较传统PID控制参数整定方法的基础上,引入强化学习理论,提出了基于Q学习在线优化PID参数的供热末端流量控制算法。算法以室温调节过程能耗最小为目标,以温差变化为智能体学习奖惩策略,通过Q学习实现Q表的优化和PID控制参数的在线调整;(3)为验证控制算法和控制策略效果,开展了不同控制方式下供热末端控制效果的对比仿真实验。实验结果表明,相比于传统PID控制算法,基于Q学习在线优化PID参数的供热末端流量控制算法具有较平缓的供热空间温度变化和调节阀门开度变化,且能节省33%的供热量,节能效果明显。