论文部分内容阅读
通过将计算和存储资源广泛地分布到更接近用户或数据源的网络边缘,移动边缘计算(Mobile Edge Computing,MEC)支持在无线接入网内完成移动应用的计算卸载过程,大幅降低了网络的端到端时延,并有效减轻了核心网和数据中心的处理压力。计算卸载决策,包括用户侧卸载决策(如任务是否卸载、如何卸载以及何时卸载)和运营商侧卸载决策(如是否允许用户卸载、分配多少资源进行卸载),是MEC能否提升用户体验的关键。由于MEC环境的复杂性,影响卸载决策的因素众多,如何设计最优的卸载决策策略,以充分挖掘MEC在时延、能耗上的性能增益,是非常具有挑战性的科学问题。任务调度与资源管理是MEC卸载决策过程中需要考虑的两个重要因素。一方面,MEC环境本质上是一个分布式异构并行计算环境,只有对任务进行合理调度,才能充分发挥该计算环境的性能优势。若考虑网络环境的动态变化,则还需要对任务卸载的时机进行调度决策。另一方面,由于网络边缘的资源有限,必须对这些资源进行合理分配以充分发挥它们的效用。在用户较多的情况下,还需要对是否允许用户卸载进行决策(即准入决策),避免资源的过度竞争。在此背景下,本文分别针对用户视角下的面向图依赖关系的任务卸载调度和面向复杂任务队列的动态任务卸载调度,以及运营商视角下的考虑用户移动性的准入决策与资源分配三个场景,考虑静态环境与动态环境中不同应用卸载模型的影响,探索MEC计算卸载调度与资源管理的最优策略。首先,从移动用户视角,针对静态场景下具有有向无环图(Directed Acyclic Graph,DAG)依赖关系的任务的卸载调度决策问题,充分考虑网络边缘计算和通信资源均受限的情况,本文提出了一种基于深度强化学习(Deep Reinforcement Learning,DRL)的通用型DAG任务卸载调度算法,分别实现了执行时延最小与用户效用最大两种目的下的卸载调度决策。具体来说,将用户对DAG任务的卸载调度决策过程建模为马尔可夫决策过程(Markov Decision Process,MDP);设计了基于循环神经网络的序列到序列参数共享神经网络架构,以及相应的DAG嵌入方法,用于拟合该MDP的卸载调度策略;并采用当前最优的近端策略优化(Proximal Policy Optimization,PPO)来完成对该策略网络的训练。通过在不同环境及不同卸载调度目的下与六种基线算法的充分对比,验证了所提算法的有效性和可靠性。进一步,仍然基于移动用户视角,本文针对高动态场景下的车辆MEC计算卸载调度决策问题进行了研究,充分考虑任务到达、任务属性、无线信道、以及用户移动等动态因素。由于复杂的动态环境和巨大的状态/解空间,这个随机优化问题很难采用传统的优化方法求解。设计了一种基于DRL的面向复杂任务队列的动态计算卸载调度算法,联合求解“何处”与“何时”对任务队列中的每个任务进行卸载调度,以获得在该复杂环境下任务执行时延与能耗的最优长期折中。采用了一系列方法来提高该算法的训练效率和收敛性能,包括利用PPO保证训练过程的高效和稳定、将卷积神经网络嵌入到策略网络中以提取任务队列的关键特征、通过对状态和奖励的精细控制避免训练过程中过多的低效探索等。大量仿真结果证明,所提算法能够在不同环境和不同用户偏好下,获得远高于传统基线算法的性能。最后,从运营商视角,本文研究了车载MEC场景下多个运动中的用户之间的准入决策和资源分配策略,充分考虑计算与通信资源限制、任务截止时延要求以及用户移动性的约束,旨在最大化全局系统效用。将该问题建模为一个非线性混合整数规划问题,提出了一种具有多项式时间复杂度的启发式多用户移动感知卸载决策算法。通过参数控制的方式将该全局优化问题转化为有限个局部优化问题,进而将每个局部优化问题分解为一个凸子问题和一个非线性整数规划子问题。针对计算资源分配的凸子问题,采用了数值方式进行求解;而针对确定准入对象的非线性整数规划子问题,则设计了一种基于偏序的启发式方法来获得其近似最优解。最终,全局优化问题的解可以通过求解有限数量的局部优化问题而得到。通过与六种基线算法的全面对比,验证了所提算法优异的性能和稳定性。