专家预测未来10年的数据总容量需求将增加1000%。第五代移动通信(Fifth Generation Mobile Network.5G)要求在数据速率、连接性以及服务质量需要大幅提升,并实现能量效率的大幅度增加。超密集网络(Ultra Dense Network,UDN)通过微基站的密集部署,极大的提升了系统的总容量,因此是5G研究中,的热点话题之一。然而在UDN密集部署基站带来系统容量增加的同时,也对系统配置提出了新的挑战。首先,基站数目的增加使得用户与基站之间的信道状态信息变得更加复杂,增加了网络控制的难度。此外,大量部署的基站也会带来大量的能量消耗,同时还会带来大量的温室气体排放,因此,从绿色通信的角度,必须在UDN中引入新的资源分配方案,从而降低基站大量部署所带来的消极影响。强化学习作为目前新兴的技术,在对环境自动探索,自决策、自优化方面有着极大的潜力.致力于绿色UDN网络,提高能量效率,将强化学习引入无线通信中并构建一个能够提供无处不在的高比特率服务的绿色通信系统具有很重要的研究价值。基于此,本文的主要创新和贡献如下:1)提出自供能UDN的系统模型。本文将能量收集引入自供能UDN中,提出了自供能UDN的方案。同时,对自供能UDN中的一些关键参数进行了仿真分析,为系统参数的设定提供了理论基础。2)针对单小区场景,提出了基于Deep Q-Learning(DQN)的功率分配方案。针对UDN中实时功率分配问题的复杂性,本文提出了一种可行的功率分配方案,仿真证明,该方案可以根据基站的负载、基站的电池电量等因素动态调整基站的发射功率,从而实现能效优化的目的。3)针对多小区场景,为了提高数据效率从而提升系统性能,本文提出了基于Proximal Policy Optimization的分布式功率分配方案。仿真证明,该方案可以有效地利用多个小区的信息,实现多小区联合的功率控制。同时,在收敛速度和系统性能上均较上文所提出的DQN方案有所提升。