论文部分内容阅读
持续增长的数据流量促使第五代移动通信系统(The Fifth Generation Mobile Communication System,5G)演进为超密集网络(Ultra-Dense Networks,UDNs)。随着新兴业务的不断涌现,UDNs中资源调度面临新的挑战。一方面,由于激增的基站和用户数量,高复杂且大规模的资源调度优化问题通常只能获得近似最优解代替实际最优解。另一方面,由于业务的多样化,传统针对特定业务的资源调度方法无法灵活满足用户在吞吐量、可靠性和时延等方面的服务质量(Quality of Service,QoS)需求。此外,现有资源调度由用户调度模块和资源分配模块分步实现,性能优化通常侧重于优化单个模块,面临子模块最优非全局最优等挑战。因此,本文研究UDNs中的智能资源调度,引入智能化解决上述挑战。首先,本文提出一体智能资源调度架构。基于现有资源调度流程,所提架构可智能建模和求解UDNs中的资源调度问题,实现无线资源自动化管理。此外,所提架构将用户调度模块和资源分配模块聚合为一体,通过模块一体化实现全局最优代替子模块最优,降低模块分离带来的增益损失。其次,基于所提架构,本文提出一体智能资源调度(Integrated and Intelligent Resource Scheduling,IIRS)算法。IIRS算法基于深度强化学习(Deep Reinforcement Learning,DRL)实现,考虑了用户异构QoS需求,旨在通过高效资源调度最大化用户QoS满意度。用户QoS满意度被定义为相对于多个QoS指标如保证比特率(Guaranteed Bit Rate,GBR)、时延和丢包率的函数,从而灵活满足用户QoS需求。进一步地,针对IIRS算法存在的收敛速度慢和性能不优等问题,本文提出增强型一体智能资源调度(Enhanced-IIRS,E-IIRS)算法。通过在IIRS中引入主网络(Main Network,MainNet)和目标网络(Target Network,TargetNet)、经验池和优先扫描、以及启发式机制,加速算法收敛和提升算法性能。最后,本文利用Python和Simpy构建的系统级仿真平台仿真分析所述算法和现有算法性能。仿真结果表明,在低业务场景,本文提出的IIRS算法相比于Q算法用户不满意度降低了约91%;提出的E-IIRS算法相比于IIRS算法、非一体化资源调度(Non-Integrated Resource Scheduling,NIRS)算法和传统最大载干比算法(Max Channel/Interference,Max C/I),用户平均不满意度分别降低了约95%、42%和50%。因此,提出的IIRS算法和E-IIRS算法可实现UDNs中高效的资源智能调度,为用户提供更优的体验。