论文部分内容阅读
网络与计算基础设施的边缘化是近年来网络和计算架构技术发展的新趋势,逐渐形成基于边缘基础设施的智能网络和系统形态,并推动了基于边缘计算的感知和计算模式。与传统中心化网络和计算架构相比,边缘网络设备的分散会导致计算、存储和传输资源分配策略局部化,相关服务与应用受用户移动、交互行为的动态化影响,使得资源分配策略效率低。因此边缘智能给网络架构、数据传输、资源分配、模型部署、分布式训练等带来新的挑战。而通过对于边缘网络资源的充分利用和动态的调整,提升用户的服务质量和降低运营商的运营成本是实现高性能大规模边缘智能服务的关键点。本文通过对边缘网络资源的细粒度感知、管理和调度,结合对边缘智能中三个主流应用场景的分析,研究了边缘智能中的资源分配和任务调度的关键问题。本文的主要贡献如下:
(1)针对边缘视频传输中多用户服务质量公平性问题,提出了基于强化学习的动态自适应带宽分配策略。本文首先分析HTTP自适应流生态系统中的解决多用户公平性的最佳切入点,即网络侧的解决方案,然后设计了一个面向边缘网络的基于网络驱动的自适应流媒体传输框架,目的为局域网内多个播放器竞争场景下的每个用户实现公平的体验质量。为了解决在在线动态带宽分配的问题,提出了一种基于强化学习的方法,该方法可以通过视频播放器的与环境的交互和试错来逐步学习和改善公平分配策略。当强化学习算法训练收敛之后,算法将学习到在播放器之间分配带宽的较佳策略,实现较好的多用户服务体验质量的公平性。
(2)针对边缘推理中大规模推理服务的成本优化问题,提出了多版本模型与多数据模型自适应推理机制。本文首先测量了模型“压缩”和数据“压缩”对于推理精度的影响,即不同版本的模型和数据进行推理可以实现相似的推理精度。基于该测量结果,设计了一种推理服务解决方案,该方法在满足用户对推理服务的要求的响应时间和准确性的基础上,利用计算资源和带宽资源之间的折衷,并同时调整模型和数据版本,在面向大规模推理请求服务的时候,可以最大程度地降低总体服务成本。将不同版本的深度模型部署到地理位置分布不同的边缘服务器上,并对用户的推理服务请求进行调度,即有策略的将该请求重定向到相应的边缘服务器,并指定该用户上传相应数据版本的样本。针对涉及的模型部署和任务调度的联合优化问题,提出了一种有效的基于舍入的近似算法来解决该问题,并提供了理论上的性能保证。通过部署在亚马逊云上的真实实验表明,我们的方法可以有效降低服务成本,并保证用户的响应时间和推理准确率要求。
(3)针对边缘智能中分布式训练问题的带宽瓶颈问题,提出了模型分片聚合和带宽感知的节点选择机制。本文设计了一种去中心化的联邦学习框架,通过利用流言协议,通过训练节点之间的信息交换来实现全局的模型收敛。为了降低节点聚合过程中的带宽瓶颈问题,将需要传输的模型更新拆分成大小相同的多个模型分片,每个节点通过从其他拉取相应的模型分片来进行本地模型聚合。为了进一步的降低模型在同步阶段的传输延迟,设计了一种基于带宽感知的节点选择方法,通过有概率的选择传输速度快的节点来加速传输。实验证明,我们的方法可以在大幅度降低总训练时间得同时,还可以保证收敛效果。
(1)针对边缘视频传输中多用户服务质量公平性问题,提出了基于强化学习的动态自适应带宽分配策略。本文首先分析HTTP自适应流生态系统中的解决多用户公平性的最佳切入点,即网络侧的解决方案,然后设计了一个面向边缘网络的基于网络驱动的自适应流媒体传输框架,目的为局域网内多个播放器竞争场景下的每个用户实现公平的体验质量。为了解决在在线动态带宽分配的问题,提出了一种基于强化学习的方法,该方法可以通过视频播放器的与环境的交互和试错来逐步学习和改善公平分配策略。当强化学习算法训练收敛之后,算法将学习到在播放器之间分配带宽的较佳策略,实现较好的多用户服务体验质量的公平性。
(2)针对边缘推理中大规模推理服务的成本优化问题,提出了多版本模型与多数据模型自适应推理机制。本文首先测量了模型“压缩”和数据“压缩”对于推理精度的影响,即不同版本的模型和数据进行推理可以实现相似的推理精度。基于该测量结果,设计了一种推理服务解决方案,该方法在满足用户对推理服务的要求的响应时间和准确性的基础上,利用计算资源和带宽资源之间的折衷,并同时调整模型和数据版本,在面向大规模推理请求服务的时候,可以最大程度地降低总体服务成本。将不同版本的深度模型部署到地理位置分布不同的边缘服务器上,并对用户的推理服务请求进行调度,即有策略的将该请求重定向到相应的边缘服务器,并指定该用户上传相应数据版本的样本。针对涉及的模型部署和任务调度的联合优化问题,提出了一种有效的基于舍入的近似算法来解决该问题,并提供了理论上的性能保证。通过部署在亚马逊云上的真实实验表明,我们的方法可以有效降低服务成本,并保证用户的响应时间和推理准确率要求。
(3)针对边缘智能中分布式训练问题的带宽瓶颈问题,提出了模型分片聚合和带宽感知的节点选择机制。本文设计了一种去中心化的联邦学习框架,通过利用流言协议,通过训练节点之间的信息交换来实现全局的模型收敛。为了降低节点聚合过程中的带宽瓶颈问题,将需要传输的模型更新拆分成大小相同的多个模型分片,每个节点通过从其他拉取相应的模型分片来进行本地模型聚合。为了进一步的降低模型在同步阶段的传输延迟,设计了一种基于带宽感知的节点选择方法,通过有概率的选择传输速度快的节点来加速传输。实验证明,我们的方法可以在大幅度降低总训练时间得同时,还可以保证收敛效果。