分布式训练的参数服务器部署算法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:saood
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着机器学习以及深度学习技术的发展,传统的单机模型训练已无法满足业界对更大模型参数规模以及更高训练效率的需求。分布式训练可支持超大规模参数的模型训练,并有效利用多机的计算能力加速模型的训练过程。参数服务器的部署策略是影响分布式深度学习训练时间的重要因素之一。本文针对多参数服务器架构研究边缘计算节点在可用存储容量动态变化下的参数服务器部署问题。参数服务器主要负责上传和下载所负责的边缘节点的模型参数与梯度。由于边缘节点所处的网络环境以及所拥有的计算能力和存储能力随时间实时变化,选择合适的边缘节点作为参数服务器有利于减少分布式训练时间,并且,在训练过程中需要处理异常节点以保证训练的正常执行。在对本文所提出问题的相关约束条件以及求解变量进行简化后,从理论角度建立与非对称K中心问题之间的相似性联系,证明了本文所提问题的NP难解性。针对上述分布式训练,本文将整个训练过程分为两个阶段:初始部署阶段以及持续训练阶段。对于初始部署阶段,本文提出了一个近似算法以及一个随机舍入算法来解决初始静态的参数服务器部署问题。这两个算法基于非对称K中心的近似算法,近似算法首先选择任一边缘节点作为全局参数服务器,然后将确定全局参数服务器后的问题转化成整型规划并通过Expand Front来确定局部参数服务器的部署策略,重复选择其他边缘节点作为全局参数服务器直至遍历完所有边缘节点,最后从中选择训练时间最短的策略作为这一阶段的最终参数服务器部署策略。随机舍入算法通过将问题转化为线性规划并且利用随机舍入法进行求解。对于持续训练阶段,本文提出了一个调整算法,在考虑边缘节点可用存储空间实时变化的情况下,通过在每次完整迭代后调整参数服务器的部署策略,以满足训练的稳定性以及减少下一次完整迭代的训练时间。本文在本地通过Docker虚拟化技术模拟分布式网络环境,并采用目前深度学习常见的模型以及数据集作为训练任务。本文分析了基于非对称K中心的参数服务器部署算法与已有服务部署算法,在不同环境因素作用下的性能表现。仿真结果表明,在各种实验设置下,本文所提出的近似算法和随机舍入算法在所有情况下都优于现有算法。同时,在相同实验设置下,本文提出的近似算法的全局模型训练时间与蛮力法生成的最优解的训练时间非常接近。并且本文所提出的两个算法在算法运行时间方面明显优于蛮力法。在持续训练阶段中,当可用存储容量发生变化时,本文所提出的集成算法的性能也优于现有算法。
其他文献
氨气的制备及性质验证实验是中学化学最常见和极具趣味性的实验,而传统的实验装置,在实验过程中容易造成氨气的外逸,存在操作繁琐、浪费时间及尾气处理不彻底的问题。针对传统实验装置存在的不足,对实验装置做了改进,形成制取氨气和性质验证的一体化实验装置,缩短了实验时间,简化了实验过程,实验现象明显,符合实验微型化要求和绿色化学的理念。
期刊
“全民健身”于2014年上升为国家战略的背景下,随着国家政策出台、居民消费水平提高、投资资本进入,使健身行业的产业规模、产值、GDP占比均在逐年提升,健身俱乐部的发展迎来了高速期。然而,由于健身倶乐部的进入门槛低、区域性较强且产品同质化比较严重,行业竞争十分激烈,各个健身俱乐部之间往往是采取价格战的方式进行营销,到头来往往收入减少,最终可能造成健身俱乐部难以继续经营最终卷款潜逃,消费者蒙受损失,整
学位
西医引入中国,与西方传教士传教有关。近代基督教新教办医院、医学院、开展公共卫生服务成为近代中国医疗卫生事业的重要组成部分。英国医学博士、英国皇家外科学会会员、伦敦会传教士詹姆斯·韩德森(James Henderson)由伦敦会派遣于1860年3月到达中国上海,随即主持上海仁济医馆工作。在上海五年的医疗传教生涯中,以医院工作报告、书信、笔记、论文、自传和著作的形式,留下了丰富的文字记录,对近代中国上
学位
心理问卷调查是获取心理健康诊断数据的主要手段之一。心理学家在使用传统分析软件进行心理问卷分析时,较难通过表格及文字形式的统计结果直观得出结论;且由于心理问卷通常为非线性的层次结构,使用传统软件从各层面对其进行分析时,操作繁琐、效率较低。应用数据可视技术并结合易用性高的人机交互机制,建立心理问卷可视化分析方法,可有效地改善上述问题。因此,本文在分析当前国内外心理问卷可视分析的研究现状后,提出一种适用
学位
进入21世纪以来,随着社会观念的变化与人民消费水平的提升,国内男性对于化妆以及皮肤保养的看法发生了本质的改变,他们越来越在意自己的“面子”问题,这种观念的转变使得中国男性逐渐成为消费及使用美妆产品的重要群体。目前国内的男性美妆产品市场已经有了一定规模,如何使男士美妆产品更好的契合中国男性美妆消费者的消费心理是各美妆品牌市场竞争的关键所在。本文从消费心理学的角度出发,通过对国内男士美妆消费人群及潜在
学位
冷水机组广泛应用于大型建筑、工业制冷等领域,采用气体轴承的离心冷水机组因其高效、可靠、紧凑等优势,成为重要研究方向。系统中的轴承供气、高速电机冷却过程使系统循环更为复杂,分析系统热力循环及变工况运行特性是系统设计及优化的前提。考虑了轴承供气及电机冷却过程,建立了带经济器的气悬浮冷水机组的数学模型,分析了系统热力学参数变化规律,结果表明:蒸发温度升高时,系统COP增大而?效率减小,系统COP和?效率
期刊
随着物联网时代的到来,海量数据存储受到了广泛关注,NAND闪存作为一种新型存储介质,它凭借容量大、数据吞吐率高、功耗低等优势被广泛应用于各种数据存储系统中,如固态硬盘(Solid State Disk,SSD)。闪存之所以成为非易失性存储器(Non-Volatile Memory,NVM)中的杰出代表,主要是因为存储芯片尺寸的减小以及多级闪存单元(Multi-Level-Cell,MLC)技术的发
学位
随着人工智能技术的普及,越来越多的深度学习应用运行在终端上为用户提供服务。这些深度学习应用往往需要消耗大量的计算和存储资源,以保证低时延的服务质量。然而,终端设备的资源是有限的。终端设备不仅在计算和存储资源上难以满足深度学习应用的资源需求,而且有限的能量供应也限制了深度学习应用的发展。为解决终端设备深度学习应用中资源和能量供应受限问题,边缘计算提供了一种可行的技术方案。通过将深度学习应用的部分计算
学位
近年来云端应用的不断增加,其云服务器的稳定保障变得至关重要,这就意味着要对云服务器数据做到准确有效的异常检测。然而面对云服务器复杂的数据模式,简单的人为观察并不足以做到对云服务器的有效检测,而是需要通过算法检测出数据中的异常,为后续的故障定位、设备检修等提供依据。尽管经过多年发展,目前的异常检测方法依旧存在以下不足:(1)使用场景受限。严重依赖单一领域的专家知识库和人工辅助,在出现异常时需要不断更
学位
网络化控制系统(Networked Control Systems,NCSs)是一种空间分布式系统,其采用通信网络将被控对象、传感器、控制器、执行器等有机地结合在一起。由于通信网络的引入,NCSs具有灵活性强、可靠性高、易扩展等优势,在国民生活的应用日益广泛(如供水、供电、交通、医疗等)。然而,NCSs给人们生活带来便利的同时,也带来了安全问题。在开放性网络环境下,NCSs易遭受网络攻击,这给工业
学位