随着云计算与大数据产业的全面革新升级,成规模的数据中心业务也趋于更加成熟的发展。对动辄托管数以千计甚至更多服务器等IT设备的仓库级数据中心而言,建筑内部制冷问题是保证数据中心级别运算能力稳定的关键。这种制冷问题体现在服务器内部CPU的高性能计算带来的高温与数据中心制冷系统的低效率散热的不对等上,机架区域内,服务器产热及机架散热不均衡导致了机架局部高温,由此引发的机架热点问题则广泛存在于各种数据中心中。机架的热点问题会带来服务性能受限、制冷能耗增大等问题,尤其是热点问题在多机架区域密集出现,会成为数据中心安全的严重隐患。但是,对于热点问题,传统的直接解决方式,如过量冷气漫灌和任务调配,并不能从根本解决问题。本文主要研究背景为常见的高架地板、未封闭冷热通道结构的数据中心中,多机架区域范围下热点消除问题。由于数据中心热能效管理问题难以建模分析,因此本课题以基于深度强化学习的数据中心多主动地板控制算法对多机架进行热点消除,同时针对多主动地板联合的控制算法进行研究。控制算法结合强化学习及人工神经网络,控制部署在冷通道的多主动地板,实现对通风量的精确控制,并结合机架入风口温度作为反馈不断修正通风量,最终实现消除热点,温度有效控制的目的。本文的主要工作为:1)对数据中心的多主动地板联合控制问题进行马尔可夫决策过程问题建模;2)设计和改进基于强化学习的多主动地板联合控制算法,分别为共享奖励多智能体深度Q网络多主动地板控制算法、独立多智能体深度Q网络多主动地板控制算法、分支行为深度Q网络多主动地板控制算法、深度确定性策略梯度多主动地板控制算法,共四种控制算法;3)数据中心仿真模型的建立、设备的部署,以及交互系统、算法的实现;4)对控制算法下多主动地板效果的验证、控制算法性能的改进提升、算法间的性能比较和目标函数权重的验证。实验结果证明了,在多机架多热点问题中,深度强化学习控制的多主动地板在联合控制方式中,制冷效果优于传统地板的制冷方式,且控制算法在Dyna机制改进后,收敛速度有较大提升;在多主动地板控制算法的性能对比实验中,确定综合性能最优算法为度确定性策略梯度多主动地板控制算法,并对最优算法进行了目标函数温度权重验证。