论文部分内容阅读
物联网的日益普及正推动着各种应用的发展,如交互式在线游戏、人脸识别、3D建模、VR/AR和车辆网络系统等,这些应用每分每秒都从物理世界产生大量数据。为提高用户服务质量,需要高效利用这些数据进行模型训练或知识推理等任务,实现物联网和人工智能的深度融合。在传统的场景下,大量的数据需要通过核心网络传输到远程的云平台进行训练或处理。然而,目前的核心网络负担沉重,使得云对应用程序请求的响应存在较长延迟,这既影响了模型训练效率,也降低了用户体验,同时也增大了用户的隐私泄露风险。为此,业界和学界提出了一种新的范式——边缘计算。边缘计算的主要理念为利用网络边缘设备的计算能力,将计算、存储等资源从云下沉至边缘,使得数据和任务能够就近在边缘设备上被处理,这样既缓解了核心网络的负载压力,也为用户提供了低延时高安全性的服务。然而,与集中式的数据中心相比,在边缘网络中进行高效的模型训练或知识推理面临一些新的挑战。一,边缘异构,边缘网络中各种不同的设备都可能参与执行训练或推理任务,这些设备具有不同的地理位置、计算能力,网络质量、数据量、数据分布等,因此任务的完成质量（计算延迟、通信延迟、能耗、模型精度等）可能会有很大的差异。二,资源有限,边缘节点的计算能力通常是有限的,因此计算密集型任务（如模型训练）可能会造成较高计算延迟,而在边缘网络中的通信资源通常也是有限的,因此数据密集型任务（如VR/AR）的传输可能会造成较高延迟。三,健壮需求,边缘网络包含大量的边缘节点,如何设计有效的机制调度这些节点协作执行模型训练或知识推理任务,保证系统的健壮性异常困难。四,环境动态,边缘设备可能处于高速移动且不可预测的状态,边缘网络的数据流量也处于动态变化之中。本文为应对以上边缘网络的挑战,从更新机制和体系架构两方面对模型训练进行了研究,分别提出了半异步联邦学习机制和统一的分层联邦学习聚类机制。训练好的模型被部署到边缘节点上之后,用户的知识推理任务需要被卸载到边缘节点执行,本论文为此设计了任务卸载的分布式决策机制。主要研究工作如下:（1）在模型训练的更新机制方面,提出了半异步联邦学习机制（FedSA）,实现了边缘网络下高效的分布式模型训练。具体来说,在每一轮模型训练中,中央参数服务器根据边缘节点的模型到达参数服务器的顺序,对接收到的前M个本地模型进行聚合。此外,本文证明了 FedSA的收敛性,同时分析了 FedSA的收敛界与参与全局更新的边缘节点数量M、数据分布、边缘异构性和通信预算等因素之间的定量关系。在此基础上,提出了一种有效的算法根据边缘的异构性和边缘节点上的数据分布确定M的最优值,从而在给定通信预算的情况下最小化训练时间。此外,本文根据边缘节点参与全局更新的相对频率自适应设置学习率,进一步提高了在非独立同分布数据下的模型精度。在实验平台上实现了提出的机制和算法,实验结果表明,在具有不同程度非独立同分布程度的数据集上,所提出的机制都比现有机制性能更好。（2）在模型训练的体系架构方面,提出了统一的分层联邦学习聚类机制（Fe-dUC）以加速分布式模型训练。本文探讨了分层联邦学习中的三种不同簇间聚合模式（CenSyn、CenAsy和DecSyn）的收敛界与多个因素之间的定量关系,如簇间的数据分布、每个簇参与簇间聚合的频率和簇间拓扑结构等。对簇内聚合,本文提出了一种基于“魔镜法”的分时调度策略（Magic Mirror Method Based Time-sharing Scheduling Strategy,TS-3M）,并证明了 TS-3M能够最小化簇内聚合的完成时间。在簇间聚合模式收敛性分析和最优簇内聚合调度策略的基础上,本文设计了一种统一的聚类算法FedUC以解决分层联邦学习的簇构造问题。在分层联邦学习的不同簇间聚合模式下,FedUC都能提供最优的聚类方案。实验结果表明,通过部署聚类算法FedUC,可以大大加快CenSyn（2.67×）,CenAsy（3.03×）和DecSyn（8.32×）模式下的模型训练速度。（3）在知识推理任务的卸载方面,提出了任务卸载分布式决策机制（DTO）,实现了边缘网络中高效的分布式知识推理。在DTO中,每个用户仅根据本地信息（如当前的传输信道、相邻边缘服务器的资源使用情况）独立做出自身的任务卸载策略。由于决策算法执行时间很短,且不会随着边缘计算网络规模的增加而增加,因此DTO具有高可拓展性,并应用于高动态的边缘场景。针对用户端设计实现了两种任务卸载算法,一种是基于贪心策略的算法DTO-UG,仅包含简单的线性计算,决策速度更快;另一种是基于凸优化的算法DTO-UX,具有更优秀的决策质量。本文从理论上证明了所提出的算法收敛于全局最优解。本文搭建了一个实验平台,用户端动态生成对延迟敏感的推理任务（车牌检测）,测试提出的卸载算法的有效性。本文还进行了大规模的数值模拟。数值仿真和系统平台上的实验结果表明,与现有算法相比,DTO在保持较短的决策时间的同时,能够将推理任务的平均响应时间降低50%-65%。