分布式边缘学习中模型聚合频率优化

来源 :甘颖棋 | 被引量 : 0次 | 上传用户:hu1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着万物互联时代的到来,网络边缘的设备数量及其产生的数据量快速增长。但是,由于网络带宽的限制和对数据隐私性的要求,将边缘设备产生的数据全部传输至云数据中心进行处理是不可行的。因此,在网络边缘部署分布式机器学习模型的新范式——分布式边缘学习出现。分布式边缘学习中,现有的模型聚合结构大多是集中式的。然而,这种聚合结构具有通信效率低,可扩展性差以及单点故障问题。为了解决此问题,层次化的聚合结构被提出,它根据网络拓扑和数据分布对设备进行分组,形成树形的结构。在层次化的聚合结构下,由于边缘设备具有资源异构的特点,传统的强同步通信方式不适用于异构的边缘环境,它会导致训练速度快的设备需要等待慢的设备,从而造成资源的浪费。另外,边缘环境中资源是动态变化的,离线的聚合频率优化方法不能适应实时变化的环境。本论文考虑在层次化的模型聚合结构下,针对边缘环境资源异构和动态变化的特点,对聚合频率的优化问题展开研究,主要研究工作如下:(1)针对边缘环境资源异构的特点,本文提出采用弱同步的通信方式进行模型聚合,即在层次化的聚合结构下,处于同一层的边缘设备可具有不同的聚合频率,目的是提高设备的资源利用率,模型的收敛速度及训练精度。同时,本文设计了基于异构资源的聚合频率控制方法(RAF),该方法根据边缘环境中的资源,为聚合结构中的每一个边缘设备确定最优的聚合频率,从而充分地利用设备的资源和减少设备的等待时间。此外,在RAF的基础上,本文提出在模型训练的过程中,自适应地调整设备聚合频率的方法,以减少因边缘设备间聚合频率相差太大所带来的精度下降。通过在边缘计算测试平台进行大量的实验,本文发现RAF方法在模型收敛速度和精度上明显优于其他基准方法。(2)针对边缘环境动态变化的特点,本文提出模型聚合结构及频率联合在线优化方法(Auto SF)。在模型训练的过程中,边缘环境是周期性变化的。当边缘环境发生改变时,本文采用资源模型和预测器相结合的评估器和基于随机搜索算法的优化器,自适应地控制模型的聚合结构和频率,以适应变化的网络拓扑和带宽资源。此外,当边缘环境未发生变化时,本文设计了启发式的算法,在线地调整聚合结构和频率,以缓解设备间的数据non-IID问题。实验结果表明,Auto SF方法在模型收敛速度和精度上相比于现有的方法有显著的提升。
其他文献
随着我国创新社会治理体制进程的加快,政府不断加大社会工作服务的购买力度,服务质量备受关注,对社会工作服务的评估也因此发展起来。同时,随着新公共管理主义的发展,社会服务评估不再只是政府部门的管理需求,也是社会公众的需求。当前学界关于评估的研究甚多,但大多从单一角度出发,要么侧重过程评估要么关注成效评估,同时也缺乏对多元协商参与的研究讨论。而与之不同的是,整合评估模型提出整合多种评估形式,从系统化、全
学位
随着5G时代的到来,光纤通信系统正朝着大规模密集波分复用的方向发展,传统的掺铒光纤放大器(EDFA)因其受限的放大波段,已无法满足未来光纤通信系统高速、宽带、长距离传输的需求。光纤喇曼放大器(FRA)因其具有宽带宽、低噪声、可分布式放大等一系列优点成为现代光纤通信的关键技术。增益平坦化是光纤喇曼放大器的一个研究热点。通常采用空间波分复用(WDM)法解决光纤喇曼放大器增益平坦问题,即多个不同波长的抽
学位
植脂奶油是由植物油脂、糖类、蛋白质、乳化剂和稳定剂等制成的水包油(O/W)型乳浊液经搅打之后形成具有泡沫结构的产品,广泛应用于奶油蛋糕等烘焙食品行业。目前市售植脂奶油产品多以葡萄糖和淀粉糖浆为原料,添加量为25-30 wt%。本课题探究了糖类物质影响植脂奶油品质的作用机制。在此基础上,采用麦芽糊精和膳食纤维部分替代复配糖,改善降糖植脂奶油的品质。主要研究内容和结果如下:研究了糖类物质的种类和用量对
学位
物联网技术已在智能家居、智慧工业、智慧城市等多种场景发挥重要的作用。物联网平台是物联网应用开发的核心关键支撑技术。本文对现有的物联网平台进行对比分析,结合作者实际参与物联网类项目的共性需求,对物联网平台实体集成与数据分析模块的若干共性关键技术开展研究。本文主要研究内容及贡献如下:(1)物理世界在虚拟世界的表达。本文提出表达物理实体,如温湿度传感器等设备,的虚拟世界实体模型和实体关系模型,并基于OP
学位
以椰子油(Coconut oil,CO)为原料制备的椰子甘油二酯油(Coconut oil-based diacylglycerol,CO-DAG)可显著降低血清甘油三酯含量以及脂肪合成相关酶的水平,从而改善脂质代谢,抑制脂肪积累。然而,关于CO-DAG的理化性质和在食品中的应用还缺少深入研究。本文系统考察了CO-DAG的甘油酯组成、脂肪酸组成、熔点、固体脂肪含量、结晶熔化曲线、流变特性及晶型等,
学位
随着国家大力发展基建项目,我国的道路里程数在逐年快速地增长。但随着行车压力的增加以及自然因素造成的损害,道路不可避免地会产生各种病害,容易造成交通事故,威胁了到行车安全。道路的封锁维护也阻碍了经济发展。裂缝作为最常见的道路病害之一,通常是演变成大型病害的根源,如果不及时检测并修复,裂缝会破坏路基,从而形成松散、脱空等病害,甚至会造成道路坍塌。所以道路裂缝的检测十分重要,但传统的人工检测方法通常是低
学位
睡眠分期是诊断阻塞性睡眠呼吸暂停低通气综合征的关键任务。目前,将深度学习技术应用于睡眠分期任务是一个研究热点。睡眠分期任务一般需要大量有标签多导睡眠图数据通过监督学习方法对深度神经网络进行训练,但是高质量的有标签多导睡眠图数据数量稀少。因为多导睡眠图数据标注的过程十分繁琐,并且标注人员需要有睡眠医学相关知识背景,一般是睡眠领域的医生才能进行标注。有标签多导睡眠图数据不足的情况下,通过监督学习方法训
学位
基站天线是一种移动通信中广泛使用的设备,有关于基站天线的研究已经有很多,包括了基站天线设计中的各个方面。目前应用的基站天线基本特征是,多频化、双极化、智能化、阵列化。但移动通信还在不断发展,对信道容量的要求依然在不断提高,而提高信道容量最常见的方式是扩展通信频率的带宽。于是在基站天线的研究中,扩展基站天线工作带宽也一直是主要的研究方向。相比较于单端口馈电基站天线,差分馈电具有一些其它的优势。例如不
学位
随着国家教育事业的蓬勃发展,社会对高校教学质量的关注也日渐提升。学生教学评价作为当前教学质量评估工作中的关键一环,如何深入挖掘和利用学生教学评价数据来提升高校的教学质量也成为了当前很多科研工作者的研究焦点。高校的教学评价数据主要有两种,分别为结构化的教学评分数据和非结构化的课程评价文本数据。但目前绝大部分高校的课程评价模型还仅仅停留在将它们割裂开来看待的阶段,并没有深入探索它们之间深层次的联系和其
学位
多模态表征学习已经成为计算机视觉、自然语言和语音处理等领域中一个热门研究方向。然而,现有大多数多模态表征学习方法在多模态层次特征提取和多层次特征融合方式上仍然面临一些挑战亟需解决。(1)信息不对称问题,即现有方法多关注如何提取某种模态的细粒度的局部信息来增加监督,导致在其他模态上找不到与之相对应的部分,从而影响监督信息发挥作用。(2)混合层次融合问题,即现有方法多使用统一表征方法对多模态数据进行混
学位