论文部分内容阅读
在未来的5G网络中,由于业务的多样性,网络切片技术是非常重要的一项技术,它能够根据服务提供商的业务需求来动态的配置。对比于传统的物理网络,网络切片的灵活性更大,并且也能够在一定程度上降低成本。然而,由于切片共享整个系统的无线资源,切片间资源的分配与隔离是需要重点关注的问题。在无线接入网(Radio Access Network,RAN)和核心网络都可以进行网络切片,本文讨论的是RAN侧的网络切片。考虑到网络请求的动态性,切片间的负载也会随之发生变化,这会导致切片的资源过剩或者不足。因此,本文将基于软件定义网络(Software Defined Network,SDN)的架构来构建一个无线虚拟网络资源管理系统,主要目的是在保证用户服务质量(Quality of Service,QoS)满意度的前提下,最大化整个系统的资源利用率。为了能够动态的适应网络需求的改变,本文提出了两种基于深度强化学习算法框架的资源预留方案:一种是基于深度Q网络(Deep Q-Network,DQN)的资源预留方案,另一种是基于竞争架构的深度Q网络(Dueling Deep Q-Network,Dueling DQN)的资源预留方案。因此,本文的主要工作为:(1)基于DQN的资源预留策略。DQN是一种深度强化学习框架,它能够不断的和环境进行交互而优化网络的参数,所以可以适应动态的网络需求。针对多异构切片的网络场景,所有的切片都共享整个系统的资源,不合理的预留会导致切片的资源过剩或者不足。因此,本文提出了基于DQN的资源预留策略,它可以根据当前的环境状态来做出合理的资源调整动作,从而提高了系统的资源利用率。(2)基于Dueling DQN的资源预留策略。为了能够更好地平衡切片的用户满意度和资源利用率,本文提出了基于Dueling DQN的资源预留策略来动态调整切片间的资源比例。在物理资源分配方面,本文使用了基于形状的分配方案,通过将问题建模为一个二维背包问题,然后使用了一种复杂度较低的启发式算法来进行求解,尽可能在有限的频谱资源上调度更多的数据流,从而减少资源的空闲,进一步提高资源利用率。基于上述的研究内容,本文进行了仿真实验来评估基于DQN的资源预留策略和基于Dueling DQN资源预留策略的性能。我们还对比了一些现有的方法来评估本文提出的两种方法的性能。