在移动用户爆炸式增长的数据流量和新的服务质量要求的推动下,通信行业正朝着网络基础设施密集化的方向发展。随着接入点（access point:AP）密度和种类的增加,近端传输和系统资源的空间重受到重视,从而引入了一种新的超密集网络（ultra-dense networks:UDNs）。由于超密集网络中无处不在的AP共享有限的可用资源,因此对高效资源分配方案和最优控制方案的需求变得更加迫切。但是大规模的超密集网络中,计算复杂性显著提高以及能耗显著提高是一个具有挑战性的问题。同时,在未来网络中,时延将作为一个重要的性能指标,也是用户服务质量（quality of service:QoS）中的重要部分,未来网络通信计划将时延降低到10ms级别甚至更低,而排队时延又是影响时延的关键因素。因此,一种基于时延QoS保障的优化方案需要被提出。现有的工作中,多数并没有考虑系统的排队时延。本文将针对这一问题进行重点研究,并提出了一系列可行性解决方案,具体如下:1.研究了面向5G/B5G的超密集网络及其关键技术,并调查了一些常见的资源分配和最优控制方法。然后针对移动边缘计算（mobile edge computing:MEC）场景,提出了一种高效的MEC服务器和核心网的信息交互方式,同时监控数据路径上的QoS指标,能够及时高效的反馈用户的QoS需求变化,以及时的调整用户服务策略、提高用户体验。该解决方案能够作为核心网和MEC服务器的信息交互工具使用,为超密集网络优化方案中的及时信息获取提供了有效的保障。2.基于有效容量模型分析无线通信系统中的排队时延并进行干扰建模。由于非独立同分布的自相关信道难以分析,大多数研究工作假设信道是服从独立同分布的,本文首先针对独立同分布信道进行QoS建模,给出了该信道下的有效容量模型,并依据有效容量模型提出了一种新的计算卸载方案,应用于超密集网络优化方案中。但是考虑到独立同分布信道在实践中是不现实的,本文进行了自相关瑞利衰落信道的有效容量的研究,并给出了离散形式。3.从马尔科夫决策过程出发,对强化学习和深度强化学习的经典算法进行对比,考虑到庞大的状态和动作空间,最终选择Deep Q-Network（DQN）和Deep Deterministic Policy Gradient（DDPG）算法作为本文的优化方法。结合5G/B5G网络中的前沿技术,如MEC、网络切片等,提出了基于有效容量和深度强化学习的功率控制方案,结果表明本文采用的方法在网络整体有效容量、时延和能耗等指标上具有一定优势。综上所述,通过细致地分析与研究,成功将有效容量和深度强化学习应用到多种关键技术相结合的面向5G/B5G的超密集网络优化方案中,解决了传统优化方案中对于排队时延的忽略,进一步提高了网络性能,同时还提高了用户服务质量。