面向分布式机器学习的编码计算性能研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:gnaixug
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着模型和数据集的增长,在分布式集群中运行大规模的机器学习算法已成为一种常用的方法。该方法将整个机器学习算法和训练数据划分为多个任务,每个任务运行在不同的工作节点,最后通过主节点对所有任务的结果进行组合,得到整个算法的结果。当分布式集群中存在大量节点时,由于资源竞争等原因,一些被称为掉队节点的工作节点不可避免地会比其他节点慢下来,这使得在该节点上运行的任务时间明显高于其他节点。与在多个节点上运行副本任务相比,编码计算能更有效利用计算和存储冗余来缓解大规模机器学习集群中掉队者和通信瓶颈的影响。研究者们提出了许多编码方案来实现对掉队节点的容忍,但是他们大多只关注于如何降低编码方案的恢复阈值,对于基于分布式机器学习的编码方案的性能开销并没有进行充分的研究和分析。本文则针对这一问题进行了研究与讨论。本文定义了面向分布式机器学习的编码计算的两个性能指标:一是某个使用该编码方案的计算任务完成时间,即完成整个计算任务所需要的时间;二是整个计算任务的机器计算总时间,即整个分布式计算系统中所有工作节点对该计算任务进行计算的时间的总和。在实际应用中,任务完成时间关系到执行分布式机器学习算法时所需等待的时间的长短,机器计算总时间更是直接关系到进行计算任务所需的成本花费。因此本文重点考察了面向分布式机器学习的编码计算的任务完成时间和机器计算总时间这两类开销。本文计算出了由n个工作节点组成的分布式系统中第4)个完成计算任务的节点的概率概率密度函数,并给出了工作节点计算任务完成时间符合均匀分布场景下计算任务的任务完成时间和机器计算总时间的表达式;对比并分析了这一场景下三种应用于矩阵乘法的编码方案的任务完成时间和机器计算总时间,提供了计算方案选择的依据;在选用某一编码作为计算方案之后,本文还给出了限定条件下编码方案的参数选择方法,并给出了参数选择的启发式算法。
其他文献
表面分子自组装是自组装研究领域中的一个重要部分,而且在表面科学中是一个热门研究对象,在纳米器件、纳米材料、分子识别以及催化等方面有着潜在的应用价值。近年来,表面分子自组装的研究取得了丰硕的成果,但是由于分子自组装结构会受到多种因素的影响,要做到有效地调控自组装,还有很多问题等待探索和解决。在本论文的研究中,我们选取含有不同官能团的前驱体分子在金属表面上进行研究,通过使用扫描隧道显微镜为主要的研究工
伴随着经济结构性改革,科技创新成为带动经济发展的重要支柱。近年,中国在科技研发投入比例逐渐增加,2019年一跃成为世界第二大投入国,但科技投入与产出效率却不尽人意。因此,需要迫切研究科技成果转化效率与政策之间的关系,为提高科研所的成果转化效率提供可参考意义。在诸多科技成果转化研究中,主要以区域以及政府为主要研究对象,但作为一线的科研机构的科技成果转化研究却很少。本文选取以创新驱动为发展方向,以科技
基质辅助激光解析电离飞行时间质谱(MALDI-TOF MS),是一种快速发展的软电离质谱技术,已经广泛的应用于生命科学等领域。由于其具有检测速度快、灵敏度高、样品制备简单以及耐盐度高等优势,已经被广泛用于生物大分子的分析,如蛋白质、多肽、核酸等。然而,在MALDI质谱中常用的传统有机基质在小分子范围区间存在强烈背景噪声,因此影响了小分子分析物的真实信号。本论文中我们对复合纳米材料作为新型MALDI
随着现代科学技术、天然气液化技术、航空航天技术和超导技术的快速发展,对低温制冷技术的需求日益迫切。近年来,由于液化天然气具有洁净、安全、体积小和运输方便等优点,我国液化天然气在能源结构中的比例逐年迅速增加,低温制冷技术在液化天然气生产工艺中的地位变得越来越重要。螺旋压缩膨胀制冷机是一种新型的制冷机,具有制冷效率高、体积小、单级压比高、压缩过程连续、工作过程简单等优点,可以替代其他制冷机应用于天然气
河北省安妥岭斑岩型钼矿床是太行山北段多金属成矿带上重要的金属矿床之一,地处NNE向乌龙沟和紫荆关两大断裂控制的构造-岩浆带内。本文详细探讨了安妥岭钼矿床的地质特征,通过矿床硫化物S、Pb、Re同位素特征示踪矿床的成矿物质来源,通过对流体包裹体的岩相学观察、显微测温、激光拉曼测试并结合H-O同位素特征讨论成矿流体来源、演化及矿质沉淀,通过同位素年代学厘定赋矿岩体成岩及钼矿体成矿时限,最后对安妥岭钼矿
胃肠道微生物群组成被称为是动物演化的第二套基因组,在能量代谢、免疫调节、防御病原入侵等方面都发挥着重要的作用。一般的常识认为脊椎动物的胃是由口腔摄入微生物群最强大的屏障,甚至有人认为在这种强酸的环境下,很少有微生物群能够存活,因此是一种近似无菌的环境。然而,近期的研究揭示健康的人胃部微生物群具有高度的多样性,厚壁菌门、放线菌门、拟杆菌门和变形杆菌门是人类胃部菌群门级的主要组成成员,而最具代表性的属
基于微波光子学的矢量信号生成技术具有比传统电子系统明显的优势,可以满足人们对大带宽高速率的需求。信道化接收一般指的是频域上的信道化分,是将频域上的宽带信号依次划分为多个窄带信号进行处理,从而间接地达到处理大带宽信号的目的。由于微波光子固有的大带宽、低损耗等特点,基于微波光子的信道化接收技术很好的解决了电模拟信道化接收机以及数字信道化接收机所存在的问题。本文利用微波光子学,对矢量信号生成以及信道化技
随着城市化进程的加快,机动车保有量逐年增长,城市的交通问题日益严重。虽然目前采取了相应优化管理措施,如优化城市道路网结构以及调整城市空间布局等,在一定程度上缓解了城市的交通问题,但问题的解决仍有待寻找更新的途径和方法。本文从交通的主体------出行者角度出发,以济南市为例,通过提取城市居民出行时空特征,进而分析出行者出行的行为规律及其影响因素,以期能够为具有时空特征属性的交通优化管理方案的提出提
随着我国学前教育的不断深化改革,农村学前教育的发展持续走向人们的视野,成为未来十年的工作重点。如今,在财政扶持和教育扶贫的基础上,同期实施三期行动计划,农村地区学前教育发展有了一定的起色,但师资队伍的建设和稳定始终是一道难以破解的难题。教师是第一教育资源,城乡教育差距从根本上来说是教师的差距,教师队伍的建设依赖于教师专业发展。因此,农村幼儿教师专业发展是农村学前教育发展的质量保障。教师实践性知识是
高效精密数控磨床是实现高效精密加工的装备,作为机床的核心功能部件,砂轮主轴系统的动、静态性能对机床的加工质量起到关键作用。液体动静压混合轴承依靠外部供给的压力油,在轴承内形成一层压力油膜,使得主轴从启动到停止始终悬浮于油膜中,具有无磨损、使用寿命长、启动功率小、速度范围宽、承载能力大、精度高等特点,因此在高效精密加工磨床中得到了广泛应用。本文针对砂轮主轴系统进行的有限元研究和实验工作包括以下几个方