深度强化学习在移动边缘计算中的应用

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:l_zhanghk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动边缘计算是指在接近手机或者移动终端的地方提供给它们一定的计算能力,即将一部分计算能力赋予边缘基站,从而使其拥有辅助用户智能处理业务的能力。移动边缘计算把网络业务“下沉”到无线接入网里,因此具备三大优点:更低延时、有效抑制了网络拥塞、更多的网络信息及网络控制功能可以开放给开发者。深度增强学习是一种将深度学习(Deep Learning)和增强学习(Reinforcement Learning)结合起来的学习方法,深度学习用来提供学习的机制,而增强学习为深度学习提供学习的目标,它结合了深度学习在问题感知上的强大的理解能力和强化学习的探索决策能力,这使得它能够解决现实场景中更为复杂的问题。由于移动边缘计算中的应用需求非常符合深度增强学习的相关特点,即问题存在复杂性的同时又需要及时得到问题的解,因此采用深度增强学习来解决其中的应用问题也成为了一种可以探索的方向。本文主要以深度增强学习方法为主,例如DQN、A3C等,来用于解决移动边缘计算中的在线缓存策略问题、缓存替换问题、在线DASH资源分配问题,主要包括以下研究内容:1)针对在线缓存策略问题,采用DQN的方法来解决相应的策略决策问题,能够实现在稳定场景下的快速收敛以及在变化场景下能够及时适应变化的同时,取得良好的效果。2)针对在线缓存替换问题,采用A3C框架和新的奖励函数机制,能够实现兼顾缓存命中率指标和开销代价,从而取得一定的平衡。3)针对在线DASH资源分配问题,采用A2C、DDPG方法,实现无卡顿的多用户资源分配,在提高用户体验的同时不会带来卡顿的问题,同时也兼顾一些公平性。以上工作,已经通过了一定量的仿真测试和与相应对比算法的性能对比测试,同时也在多种场景下进行了实验验证,相关的深度增强学习方法都能在低时延运行的基础上,取得相应指标上的提升,对比于传统方法具备更好的性能,从而解决缓存和DASH业务中的相关问题。
其他文献
“在每一个女孩来到人间的时候,在这个世界上,在某一个角落,一定已经有一个男孩在那里等着她。”二十岁,有的女孩子已经找到了那个早早就在等着她的小伙子,她们的生命鲜花便开始灿
本文通过在国家重点科技项目"中国试验型数字图书馆"中的实践体会,重点阐述了数字图书馆资源库的设计与加工方面的问题.
对尿道下裂患者作尿道成形术后,及时排出新尿道内分泌物是防止新尿道感染及尿瘘、保证手术成功的重要环节。自1988年1月以来,我们改进了尿道支架管的放置和清洗方法,对11例尿
小编絮语:每张照片都定格了一个瞬间,记录下那时你的动作、表情和喜怒哀乐。每张照片背后都有一个故事,带你回到过去的时光。小星星们一定都有这样的有故事的照片。昨天、今天和
本文论述了网络学术资源导航的概念和特点,分析了网络学术资源导航的历史发展、现状以及未来发展趋势等.并介绍了很多非常具有代表性的和有价值的网络学术资源导航系统.
采用萌发试验法研究了安太堡露天矿排土场土壤种子库特征,结果表明:排土场土壤中有活性种子存在,且以1年生植物为主,可为植被恢复提供物质基础;随着复垦时间的延长,土壤微环
每天清晨,透过玻璃窗就能看到妈妈站着,拿着梳子给奶奶梳头。妈妈手中的梳子在奶奶的一缕缕头发中来回穿梭。那把淡黄色的月牙儿梳子在奶奶头发上划过,虽然有几缕显眼的白头
今年9月,由北京绿色伟农科技有限公司倡议组建的全国首家'饲料企业联合体'以比较低调的态度宣告成立.首批参加联盟的15家企业如北京大北农饲料科技有限公司、四川铁
图书馆电子资源联盟是近年来各图书馆之间为降低成本、共享电子资源而共同发起的一种新的联合体.这一新型的资源建设模式,对我国发展数字图书馆事业、加强虚拟馆藏资源建设有