在网络趋于超密集化的6G时代,严重的站间干扰和复杂的网络优化是6G面临的一大难题。此外,6G通信网络的结构也将会更庞大和异构,业务的类型以及应用的场景也将会更复杂多变。由于利用人工智能技术对网络资源和用户进行智能化管理和调动是提高网络效率的一种有效方法,因此,本文基于深度强化学习（Deep Reinforcement Learning,DRL）对6G多层蜂窝网络中的资源分配问题进行研究。具体的工作如下:首先,本文考虑一个由微基站和毫微微基站构成的两层异构蜂窝网络。为了更准确的模拟现实场景,将基站建模为泊松点过程,用户随机分布在网络中。为了提高网络的传输速率,提出了一种基于DRL的下行链路功率分配方案。在该网络模型中,构建了一个含有两层隐藏层的深度Q网络（Deep Q Network,DQN）,通过不断优化网络参数以最大化网络传输速率。仿真结果表明,本文所提方案在传输速率和收敛速度方面均优于其他算法。其次,为了探究网络关键参数对深度Q学习（Deep Q Learning,DQL）性能的影响,本文构建了一个小小区超密集部署的两层异构蜂窝网络。在该网络模型中,由于小小区的超密集化会导致严重的干扰以及网络能量消耗的增加。为了提高网络的能量效率,提出了一种基于DQL的功率控制方案。该方案通过对基站发射功率的调控减少网络中的干扰,在保证用户服务质量需求的前提下,最大化网络能量效率。此外,为了探究网络关键参数对本文所提方案性能的影响,还对比分析了不同折扣因子、小小区个数以及每个小小区内用户数量对网络能量效率的影响。仿真结果表明,本文所提方案在能量效率方面均优于其他算法。最后,本文考虑一个由宏基站、微基站和毫微微基站构成的三层异构蜂窝网络,并研究该网络中用户级联和资源分配联合优化问题。由于该联合优化问题具有非凸性和NP-Hard,为了进一步改善网络的性能,提出了一种基于双DQN（Double DQN,D-DQN）的联合优化方案。在该网络中,将传输速率作为奖罚值,利用批量梯度下降法不断地训练D-DQN的权值,以最大化网络的传输速率。此外,仿真分析了不同强化学习方法对网络传输速率和能量效率的影响。仿真结果表明,本文所提D-DQN的性能优于其他强化学习方案。