基于深度强化学习的无线虚拟网络资源分配问题研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:fado
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在未来的5G网络中,由于业务的多样性,网络切片技术是非常重要的一项技术,它能够根据服务提供商的业务需求来动态的配置。对比于传统的物理网络,网络切片的灵活性更大,并且也能够在一定程度上降低成本。然而,由于切片共享整个系统的无线资源,切片间资源的分配与隔离是需要重点关注的问题。在无线接入网(Radio Access Network,RAN)和核心网络都可以进行网络切片,本文讨论的是RAN侧的网络切片。考虑到网络请求的动态性,切片间的负载也会随之发生变化,这会导致切片的资源过剩或者不足。因此,本文将基于软件定义网络(Software Defined Network,SDN)的架构来构建一个无线虚拟网络资源管理系统,主要目的是在保证用户服务质量(Quality of Service,QoS)满意度的前提下,最大化整个系统的资源利用率。为了能够动态的适应网络需求的改变,本文提出了两种基于深度强化学习算法框架的资源预留方案:一种是基于深度Q网络(Deep Q-Network,DQN)的资源预留方案,另一种是基于竞争架构的深度Q网络(Dueling Deep Q-Network,Dueling DQN)的资源预留方案。因此,本文的主要工作为:(1)基于DQN的资源预留策略。DQN是一种深度强化学习框架,它能够不断的和环境进行交互而优化网络的参数,所以可以适应动态的网络需求。针对多异构切片的网络场景,所有的切片都共享整个系统的资源,不合理的预留会导致切片的资源过剩或者不足。因此,本文提出了基于DQN的资源预留策略,它可以根据当前的环境状态来做出合理的资源调整动作,从而提高了系统的资源利用率。(2)基于Dueling DQN的资源预留策略。为了能够更好地平衡切片的用户满意度和资源利用率,本文提出了基于Dueling DQN的资源预留策略来动态调整切片间的资源比例。在物理资源分配方面,本文使用了基于形状的分配方案,通过将问题建模为一个二维背包问题,然后使用了一种复杂度较低的启发式算法来进行求解,尽可能在有限的频谱资源上调度更多的数据流,从而减少资源的空闲,进一步提高资源利用率。基于上述的研究内容,本文进行了仿真实验来评估基于DQN的资源预留策略和基于Dueling DQN资源预留策略的性能。我们还对比了一些现有的方法来评估本文提出的两种方法的性能。
其他文献
基于消费者视角,对消费者移动支付感知风险影响因素问题进行了研究,提出了移动支付感知风险影响因素理论模型,通过实证调查发现:消费者认知对心理风险和社会风险的影响都是负向显
广州市公园是否应该免费?财政对公园有补贴,公园的收支情况如何?公园场地是否应该出租营利?免费后公园的运营管理等一系列问题引起了出席广州市政协十一届二次会议政协委员们的热
报纸
党中央国务院为了迎接新时代知识经济的发展,在1999年做出了基础教育改革的重要决策。2001年,教育部正式开始了基础教育课程改革,颁布了《基础教育课程改革纲要(试行)》等战略文件,初步构建了拥有中国特色的基础教育课程体系。基础教育课程改革实施距今已有十几年,在这十几年中,如何将课程标准的实施意见融合到日常的教学过程中成为了广大一线教师的难题。张富作为江西教育教学改革的重要人物,其教学思想和教学改革
本试验研究了不同定植密度对线辣椒地上部和根系生长发育以及产量的影响,探索线辣椒地上部农艺性状、根系形态、根系活力和物质积累的动态变化,寻找线辣椒最适宜的定植密度,
我国正处于经济体制转轨和社会结构转型关键时期,对落后产能企业进行淘汰和升级重组,优化产业供给结构,有助于激发经济新的活力。河北省是化解产能过剩的重点省份,产业结构调
目的观察健康教育路径在妊娠合并梅毒孕产妇护理中的应用效果。方法随机抽取医院自2011年9月—2018年9月接诊的妊娠合并梅毒孕产妇90例展开研究,随机分为两组,对照组(45例)应
蛋白酶体对维持细胞内蛋白质内稳态具有十分重要的作用,蛋白质内稳态混乱以及蛋白质功能异常经常会引起很多疾病。REGγ作为一种蛋白酶体激活因子,已经被报道在很多信号通路
《新课程改革》是我们教师探索新课程教学的天地,是所有教师展现自我的舞台,是教师发表各种理论见解、探究教学方法的地方;这里记载着我们曾经的辉煌,这里谱写着我们人生的精彩。
在我国社会经济的发展中,工业居于重要地位。随着我国建筑事业的迅速发展,工业建筑也取得了重大成就,其设计也在与时俱进。但是在工业建筑设计改革的实际情况来看,其中还存在
白色发光二极管(w LEDs)的问世,是半导体技术的发展在引发微电子革命后又在孕育着一场照明革命。由于LED体积小、耐振动、响应速度快、寿命长和无污染等优点,将成为替代白炽