基于放置分发表的编码分布式计算方案的构造

来源 :广西师范大学 | 被引量 : 0次 | 上传用户:radar14015
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据分析和处理任务的规模越来越大,加速计算进程的需求也急剧增大。分布式计算是一种相对于集中式计算的计算方法,它将计算任务由一台设备上的集中计算分配到网络中多个设备上分布式地进行计算,从而加速了计算进程。它可以处理大规模的数据分析任务,如机器学习,神经网络学习等等。分布式计算系统常用的一种计算框架Map Reduce已经广泛应用于解决很多大规模数据处理问题。在Map Reduce框架中,整体计算被分为三个阶段:Map阶段、Shuffle阶段和Reduce阶段。(1)Map阶段中,分布式计算节点在本地处理一部分输入数据,根据设计好的Map函数进行计算,生成一些中间值。(2)Shuffle阶段中,节点之间互相交换计算得到的中间值,来满足下一阶段计算的需要。(3)Reduce阶段中,节点利用Map阶段本地计算得到的中间值及Shuffle阶段由其他节点传输得到的中间值,使用各自设计好的Reduce函数,分布式地计算得到最终想要的输出值。然而,在整个计算过程中,Shuffle阶段节点之间的数据传输会产生通信负载,限制着分布式计算的应用性能。众所周知,编码可以应对远程通信中的信道不确定性,也可用于在分布式存储系统和缓存网络中减少存储花销。因此,将编码应用于分布式计算,可以大幅度减少数据传输过程中产生的通信负载,从而加速整个计算进程,即为编码分布式计算。另外,在实际网络环境中,并非所有的节点都可以正常完成计算任务,这样的节点即为掉队节点。因此除数据通信花销外,编码分布式计算执行过程中,另一瓶颈为计算节点掉队。Li等人引入了编码分布式计算方案来降低Map Reduce等一般分布式计算框架的通信负载。他们还提出了对每个输出函数进行多次计算的编码分布式计算方案,并证明该方案实现了计算负载和通信负载之间的tradeoff。然而,当计算节点数量变大时,这些方案需要指数级数量的输入文件和输出函数,难以在实际中应用。本文利用放置分发表的结构,构造了编码分布式计算方案,并且大大降低了输入文件和输出函数的数量。具体来说,给定已知的一种放置分发表,可以得到一类编码分布式计算方案。我们给出了三类新方案,并对它们的性能进行了分析,证明了所有新方案的输出函数数量仅是计算节点数的一个因子,并且新方案的输入文件数量小于Li等人得到的编码分布式计算方案的输入文件数量。同时,我们在Li等人的编码分布式计算方案的基础上,考虑了含掉队节点的情况。即含有掉队节点的编码分布式计算,其中我们对每个输出函数进行了多次计算。通过改变中间值的分块数,我们构造了含掉队节点的编码分布式计算方案。然而,绝大多数已知的处理掉队节点的编码分布式计算方案中,每个输出函数被计算的次数皆为一次;同时,绝大多数已知的对中间值进行分块的编码分布式计算方案中,中间值的分块数皆相同。因此,我们处理掉队节点的方案中,对每个输出函数计算了多次以及设置中间值分块数不同。我们还对方案进行了性能分析,证明了本文中含掉队节点的编码分布式计算方案所产生的通信负载稍大于Li等人的编码分布式计算方案中最优的通信负载,并且绝大多数情况下,二者比值小于2。
其他文献
强子物理主要研究强子的性质、内部结构和粒子间相互转化及强相互作用规律。传统的夸克模型可以很好地解释大部分的强子态,实验上发现一部分强子态无法用传统的夸克模型进行很好的描述。本文关注的是两个超子激发态——Ξ(1620)和Ξ(1690),它们的质量、宽度、衰变分支比等性质无法用传统夸克模型很好地描写,被认为是奇特强子态的候选者。手征幺正法作为一种低能QCD有效场论方法,成功地描述了低能区介子-介子和介
自2004年英国曼切斯特大学的K.S.Novoselov and A.K.Geim利用机械剥离法制造出单层石墨烯以来,单层、双层、三层及少层石墨烯由于其新奇的物理和化学性质(拓扑、非常规超导、魔角、光学、催化等等)引起了广泛的研究和关注。先前薛其坤团队研究表明,在纳米尺度上,由多个原子层堆垛而成的超薄金属材料,由于量子尺寸效应,某些物理参量会呈现出不同于体态的独特量子振荡现象。在本论文研究中,我们
近几十年来,随着科学技术的不断进步,由人们的生活或者发生的经济行为所产生的空间面板数据被大量地采集与记录.这些空间面板数据之中存在着某种相联关系,并非完全独立且具有不可分割的相关性,应运而生的空间面板数据模型便是一种挖掘空间面板数据信息的重要模型之一,因其自身优势及广泛应用已经成为计量经济学的研究热点.在建立空间面板数据模型时,通过合适的方式选择关键变量会使得空间面板数据模型具备更好地解释能力.从
群环是一个重要的环类,其与群论,环论,域论,代数拓扑等理论有着十分紧密的联系.近年来,群环已广泛应用在通信,密码等领域.设R是有单位元的结合环,G是群.Maschke定理说明了群环RG是半单环当且仅当R是半单环,G是有限群,G的阶在R中可逆.利用Wedderburn-Artin定理,可以得到半单群环的结构的完全刻画,即半单群环必同构于有限个除环上的全矩阵环的直积.对一般群环的结构的研究是比较困难的
基质辅助激光解析/电离飞行时间质谱(Matrix-assisted laser desorption time-of-flight mass spectrometry,MALDI-TOF MS)具有样品用量少、简单快速、灵敏、良好的耐盐性能、宽的测定范围及高通量等特点,被广泛应用于多肽、核酸、蛋白质等大分子分析检测。然而,用于小分子化合物检测时受到限制,主要是因为传统的有机小分子基质会产生很强的基
分次扩张和高斯扩张是环的两类重要扩张,纯锥的研究对刻画分次扩张和高斯扩张有非常重要的作用.设V是除环/(的全赋值环,且V≠K,G是群,Aut(K)是/(的自同构群,σ:G→Aut(K)是一个群同态,假设G在K上的斜群环K[G,σ]有左商环Q(K[G,σ]).本文对G=Q(n)和G=Z(n)回的情况进行了讨论.我们首先对Q(n)的纯锥进行了完全的刻画,然后用它对K(Q(n),σ]上的平凡分次扩张进行
混合向量变分不等式是一类较为广泛的数学模型,包含了变分不等式问题,最优化问题及向量变分不等式问题等.它在力学,博弈论,经济等领域都有广泛应用.本文主要研究非强制混合向量变分不等式解的存在性和混合向量变分不等式解集的稳定性,论文内容具体安排如下:第一章介绍向量变分不等式问题的历史背景及研究现状,例外簇的发展情况以及向量变分不等式解集稳定性的研究现状;介绍了本文用到的常用符号、基本概念和引理.第二章在
变分不等式研究是最优化理论研究的一个热点.张量变分不等式自2018年提出以来,受到广泛关注.本文研究混合张量变分不等式解的存在性和解集的稳定性,分为三章,具体内容如下:第一章,介绍混合变分不等式、张量互补问题和张量变分不等式的历史背景和研究现状,以及研究方法,并给出本文使用的一些常用符号和基本概念.第二章,利用例外簇方法研究混合张量变分不等式解的存在性.首先证明若不存在例外簇,则混合张量变分不等式
向量平衡问题是一类广泛的数学模型,包含向量变分不等式问题及向量优化问题,在经济金融、交通运输、资源分配及工程管理等领域应用广泛.本文主要研究向量平衡问题及其相关问题解集的连通性,具体安排如下:第一章简要介绍向量平衡问题及其相关问题的研究背景及研究现状,给出本文需要用到的一些基本符号、概念以及引理.第二章在自反Banach空间中我们利用对偶锥的连通性证明,凸向量优化问题弱有效解集非空有界等价于任一标
近年来半正椭圆方程的边值问题受到了国内外越来越多的学者关注,它能描述和解决我们现实生活中许多的自然现象和工程技术问题.特别是在机械系统,悬索桥设计,天体物理学,燃烧理论模型等领域的应用.目前关于半正椭圆方程的边值问题的研究已有诸多成果.本文讨论了二类半正椭圆方程在Dirichlet边界条件上解的存在性.第一部分,本文研究了一类半正椭圆方程径向正解的存在性.我们首先利用反证法并借助-Δ在Ω中带有Di