超密集网络(UDN,ultra-dense network)作为解决物联网中移动流量需求爆炸增长问题的关键技术之一,在通过大量部署小型基站(SBS,Small Base Station)来满足网络容量的同时,也带来了大量的能量消耗。因此,在有效满足用户服务质量的基础上,UDN还需降低小基站的能量开销、提高系统的能量效率。近些年,已有许多国内外学者提出了不同蜂窝网络下能量收集小基站的资源分配方案。小基站可以通过能量收集(EH,Energy Harvesting)技术从自然环境中获取太阳能、风能等可再生能源来降低传统电网的能量消耗。但是在UDN场景中小基站数量众多,用户与基站间的信道状态较为复杂,从绿色通信的角度上如何采取有效资源分配方案是一个值得研究的问题。此外,强化学习(RL,Reinforcement Learning)作为近些年兴起的一种新的优化理论,在探索环境、机器学习和智能决策等方面具有传统优化方法不具备的优势。将强化学习方法引入到UDN的资源分配中具有探索和研究价值。本文的研究内容为UDN在具有能量收集和协作下,如何提高系统总吞吐量的问题。主要工作可以分成两部分:1.研究和解决了利用能量收集和协作技术来提高UDN系统吞吐量的问题。在这个问题中,小基站的能量主要来源为自身收集到的可再生能源和其它小基站分享的可再生能源。考虑到小基站可再生能量收集到达过程和通信信道等信息先验未知,我们采用了深度强化学习(DRL,Deep Reinforcement Learning)算法-DQN(深度Q学习)和DDPG(深度确定性策略梯度),根据所有小基站和被服务所有用户的环境状态等信息集中动态地控制每一个小基站的功率分配。研究表明,基于DQN的功率分配方案需要将动作空间(基站功率分配)量化,划分成固定的动作来选取,这会导致小基站的功率选取不是最优的。而基于DDPG的方案可以在连续动作空间上选取一个合适动作,避免由于量化误差导致系统吞吐量不是最优的问题。仿真结果表明,这两种功率分配算法可以很好地收敛,而基于DDPG功率分配策略下的系统吞吐量可以最大化。2.针对UDN中小基站数量过大带来的DRL算法状态和动作维度的指数增长,我们结合实际的网络架构提出了一种多智能体深度强化学习的算法MADDPG(多智能体深度确定性策略梯度)来解决这个问题。基于MADDPG算法的方案采用集中训练、分散执行的方式将每个小基站看作独立具有决策能力的智能体进行最优策略训练。相比于DDPG算法,这种算法在训练过程中有效降低了神经网络输入信息维度的大小。每个小基站仅在自身可观察的环境里就能做出最优的功率分配,这不仅解决了前面提及的问题,还一定程度上提高了UDN系统的抗干扰能力。最后,在仿真实验结果中可以看出,与传统的功率分配策略相比,我们所提出几种功率分配方案的优越性。