随着全面推进5G技术落地,目前的无线通信网络面临着用户数暴增、连接设备类型多样等需求。异构网络(Heterogeneous Network,HetNets)是在传统宏基站的网络中部署一定数量的小基站,无论是从技术实现还是成本上,都是现阶段最为主流的部署方案,也是通信领域主要研究课题。而随着基站数量的激增,随之而来的能耗问题和管理问题成为异构网的重点难点。以绿色能源代替传统能源能有效降低碳排放,本文研究基于绿色通信技术的异构网络资源管理和能耗优化。网络用户的实时监测是无线网络覆盖的必备技术和发展趋势,针对由于用户功耗变化带来的耗能高等问题,本文提出一种基于循环神经网络(Recurrent Neural Networks,RNN)的异构网络中用户能耗预测模型。该模型通过综合分析用户在当前时刻前的能源使用基础上,通过深度神经网络处理复杂时序数据的拟合,预测用户未来短时间的能耗。预测结果为网络下一步决策提供输入。通过引入预测-决策机制,解决由于绿色能源不稳定造成的功率控制问题。绿色异构网络功率控制是绿色异构网络资源优化领域的一个重要研究方向,为了提供更好的性能和更低的碳排放的服务,需要提出一种高效的中心化控制算法,以使最大化网络能效。在这方面,深度强化学习(Deep Reforcement Learning,DRL)被认为是一种有前景解决方案。本文在简要回顾了深度强化学习的基本概念之后,研究了深度强化学习在异构网络场景中的一些典型资源管理中的应用,并展示了深度强化学习的优势。在本文中,基于预测结果,提出一种基于深度强化学习算法的异构网络决策模型。将网络功率控制建模成非凸函数模型,通过网络中心化决策算法,找到该方程的最优解,从而提高绿色异构网能效。在算法训练方面通过提出一种带有正则化的网络回报函数,深度强化学习能够达到较好的收敛。