论文部分内容阅读
移动边缘计算是指在接近手机或者移动终端的地方提供给它们一定的计算能力,即将一部分计算能力赋予边缘基站,从而使其拥有辅助用户智能处理业务的能力。移动边缘计算把网络业务“下沉”到无线接入网里,因此具备三大优点:更低延时、有效抑制了网络拥塞、更多的网络信息及网络控制功能可以开放给开发者。深度增强学习是一种将深度学习(Deep Learning)和增强学习(Reinforcement Learning)结合起来的学习方法,深度学习用来提供学习的机制,而增强学习为深度学习提供学习的目标,它结合了深度学习在问题感知上的强大的理解能力和强化学习的探索决策能力,这使得它能够解决现实场景中更为复杂的问题。由于移动边缘计算中的应用需求非常符合深度增强学习的相关特点,即问题存在复杂性的同时又需要及时得到问题的解,因此采用深度增强学习来解决其中的应用问题也成为了一种可以探索的方向。本文主要以深度增强学习方法为主,例如DQN、A3C等,来用于解决移动边缘计算中的在线缓存策略问题、缓存替换问题、在线DASH资源分配问题,主要包括以下研究内容:1)针对在线缓存策略问题,采用DQN的方法来解决相应的策略决策问题,能够实现在稳定场景下的快速收敛以及在变化场景下能够及时适应变化的同时,取得良好的效果。2)针对在线缓存替换问题,采用A3C框架和新的奖励函数机制,能够实现兼顾缓存命中率指标和开销代价,从而取得一定的平衡。3)针对在线DASH资源分配问题,采用A2C、DDPG方法,实现无卡顿的多用户资源分配,在提高用户体验的同时不会带来卡顿的问题,同时也兼顾一些公平性。以上工作,已经通过了一定量的仿真测试和与相应对比算法的性能对比测试,同时也在多种场景下进行了实验验证,相关的深度增强学习方法都能在低时延运行的基础上,取得相应指标上的提升,对比于传统方法具备更好的性能,从而解决缓存和DASH业务中的相关问题。