作为5G的关键技术之一,超密集网络的结构复杂,部署节点数量众多。若出现故障不及时消除影响,会导致网络性能显著下降。自组织网络的自治愈功能可以自主检测网络并对故障进行定位与恢复,而小区中断补偿作为自治愈的关键因素可以自动调整网络参数以消除故障的影响。因此,研究超密集网络(UDN,Ultra Dense Networks)场景下的小区中断补偿问题是非常重要的,但现有工作主要针对4G场景下的小区中断补偿(COC,Cell Outage Compensation)问题进行研究,对于5G复杂场景考虑不多,且未细化考虑用户的需求。深度强化学习为复杂问题提供了更好的解决方法,在多个领域有了显著成果,包括应用于自组织网络,但是尚未应用于UDN场景下的小区中断补偿问题。因此,本课题针对重点针对小区中断补偿问题开展研究,面向两个代表性超密集网络场景一一超密集异构网络和大规模物联网环境,提出了基于深度强化学习的框架解决UDN中小区中断补偿问题,提高了网络性能并降低网络运营成本。针对超密集异构网络的高带宽用户,本课题提出了一种面向UDN场景用户服务质量(QoS,Quality of Service)保障的COC方法。首先,针对超密集异构网络的特点,将基站与中断用户的连接关系和基站分配给中断用户的发射功率作为决策变量,将最大化所有移动用户的传输速率之和作为补偿目标,将移动用户的需求作为约束,设计了面向用户QoS保障的COC模型。在此基础上,提出了基于深度Q网络(DQN,Deep Q Network)的超密集异构网络COC框架,采用K-means++聚类算法确定基站与中断用户的连接关系,采用DQN算法给中断用户分配发射功率,使所有用户传输速率之和最大。最后,通过仿真实验进行验证,证明了所提出的方法训练速度与收敛速度更快,保障了移动用户的服务质量需求,同时实现了最大化所有用户传输速率之和。针对大规模物联网环境中的低带宽需求泛在用户,本课题提出了一种面向UDN场景网络覆盖优化的COC方法。首先,针对大规模物联网环境的特点,将基站与中断用户的连接关系、基站天线倾角和基站分配给中断用户的发射功率作为决策变量,将满足每个用户需求的同时最大化基站连通度作为优化目标,设计了面向网络覆盖优化的小区中断补偿模型。在此基础上,提出了基于深度双Q网络(DDQN,Double Deep Q Network)的大规模物联网环境COC框架,采用K-means++聚类算法确定基站与中断用户的连接关系,采用DDQN算法调整基站天线下倾角、给中断用户分配发射功率,使基站连通度最大同时保证每个用户需求。最后,通过仿真实验进行验证,通过与DQN算法进行对比,证明了所提出的方法收敛速度更快,结果更接近最优解,解决了DQN算法的过估计问题,实现了最大化基站连通度同时满足每个中断用户的服务质量需求的目标。综上所述,本课题提出并实现了基于深度强化学习的5G超密集网络COC机制,以不同UDN场景的特点为依据分别提出了相应的模型与框架,为解决UDN场景下的小区中断补偿问题提供了新的思路和方法。