低开销的无盘检查点机制研究及应用

来源 :湖南大学 | 被引量 : 0次 | 上传用户:naimiu2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无盘检查点机制被提出用以解决基于稳定存储的检查点机制引入的I/O瓶颈问题,同时达到在大规模系统中容忍少量计算节点同时发生故障的目的。其核心思想是将检查点数据分散保存在所有节点的内存中而不是一个稳定存储中以避免I/O瓶颈。同时为了保证内存中检查点数据的有效性,编码技术被应用。编码技术使用所有检查点数据编码出多份编码数据并保存到冗余节点的内存中。当故障发生时,虽然保存在故障节点上的检查点数据会丢失,但是却可以通过保存在冗余节点上的编码数据以及保存在未故障节点上的检查点数据来恢复。然而对于现有的编码机制,编码过程需要跨节点完成,这导致了极大的通信开销,尤其是对于网络带宽受限的系统。本文提出了一种纵向编码机制来减少通信开销,其核心思想是通过检查点数据划分以及限制编码过程到每个节点以减少节点之间的通信量。对于应用该方案的系统,在检查点执行(或故障恢复)过程中,每个节点仅需发送一倍于本地检查点的数据以及几个冗余编码块到其他节点。因此,本文提出的编码方案可以极大的削减检查点执行和故障恢复过程中的通信量,而且没有引入额外的编码开销,实验结果亦证明了这两点。另外,就容忍n个节点中k个节点同时发生错误所付出的开销不会随着n增大而增大而言,该机制具有很好的扩展性。此外,当n>>k时,从单个节点的角度来考虑,纵向编码机制可以避免冗余节点的使用,同时保证和现有编码机制近似的内存占用。最后,本文将该方案扩展到多级无盘检查点机制中以获得更好的性能。另外,通过对比无盘检查点容错和分布式存储容错的共性,本文给出了一种基于编码机制的分布式存储容错的实现方案。该方案综合使用了副本机制和编码机制:多副本机制对于访问频度较高的数据进行容错以提供更好的访问性能,并将其作为编码机制容错的中转机制;编码容错机制对于访问频度不高的数据进行容错以提高存储利用率。通过这种方式,该方案兼顾了存储利用率和性能。
其他文献
造山带和沉积盆地是大陆的两个基本地质单元,它们构成了在空间发展和形成机制上密切联系的构造系统,这种共生关系即为盆山稱合。当构造活跃时,山体加快隆升,物源区遭受更强的
分布式机器学习用于增强模型训练性能,提高模型预测精度。大数据时代,模型训练作业所使用的训练数据集体量庞大,对于模型训练作业的耗时成本以及预测精度均有着较高的要求。Tensorflow系统是实现大规模分布式机器学习模型训练的典型代表,提供了资源配置和超参数设置来调整模型训练作业的计算性能及训练精度。既有Tensorflow系统,资源和批尺寸配置分离设置,用户通常利用历史经验直观地人工设定,或者通过反
我国诗歌文化源远流长,咏藏诗由于内容的特殊性,在传统诗学领域独树一帜。相对于古典诗歌研究,咏藏诗研究尚没有引起广泛的重视。本文选取清代毛振翧咏藏诗作为研究对象,旨在通过对毛振翧咏藏诗的研究,来探讨咏藏诗在中国古典诗歌中的价值和意义。关于毛振翧的咏藏诗研究资料较少,本文做了大量的史料整理工作,梳理毛振翧生平及著述。结合毛振翧咏藏诗集《西征集》整理出毛振翧近百首咏藏诗,并对其咏藏诗进行注释、归类及赏析
随着大数据时代的到来,电网企业信息化呈现出日新月异的趋势,各种多元海量数据以每年数十TB的速度增长。自2009年电网企业建设各独立业务域开始,现电网企业已在资产、生产、
模糊数学自产生伊始就不断有学者对其理论体系进行修补和完善。本文用概念三原理对模糊集中的定义、定理进行了研究,认为作为模糊集运算基础的两个模糊集的相等、包含、并、
本文主要研究了在证据理论框架下对多个分类器提出了新的合成规则,在保证合成规则具有良好性质的同时也充分利用证据源信息,提高模式识别方法的精确性和有效性。在证据理论框架下的分类问题中,根据特定的分类方法和证据合成规则来进行全方位的信息融合,得到未知类别的样本的分类情况。本文在证据理论框架下研究分类问题,根据k最近邻分类方法和新的合成规则来进行全方位的信息融合,得到未知类别的样本的分类情况。利用证据合成
近些年来,带有白噪声随机扰动的生物种群模型已经被国内外学者们进行了广泛研究,并取得了很多重要的研究成果.而在实际的自然环境中,还存在着其它的随机噪声,其中一些可能使种群系统存在随机的状态切换,还有一些会使种群数量在短时间内发生巨大的变化.综合这些随机噪声,更能反映出现实环境中随机扰动对生物种群系统的影响.本文研究了两类带Markov切换和Lévy跳的随机混杂互惠种群动力系统的渐进性态,主要内容如下
国有企业的独特地位决定了国有企业承担公共责任意义重大。从近年国有企业履行公共责任的总体情况来看,国家电网有限公司走在国有企业的前列,它是关系国民经济命脉和国家能源安全的特大型国有重点骨干企业,它提供公共产品电力,公共责任履行得比较好,具有典型性和可借鉴性。国有企业公共责任包括政治责任、经济责任、社会责任、环境责任、道德责任。国网鄂州供电公司是国家电网有限公司下属的分公司,通过文献研究法和实证分析法
组合恒等式是组合数学领域的主要研究课题之一.本文利用Lucas序列的性质建立了一些新的恒等式,并且讨论了一些与Lucas序列有关的级数的近似值问题.本文主要工作可概括如下:第
在电力系统的各变电站中,电容式电压互感器(简称CVT)是一种特殊形式的变换器。CVT被安装在各电压等级母线或各出线间隔上,通过电容分压的原理将一次高电压转变为二次低电压并将高压隔离,供给站内继电保护、自动装置和测量仪表等使用。现阶段,中国南方电网有限责任公司内对CVT的运维手段主要分为A类检修、B类检修及C类检修。通过这三类检修虽然可以发现并处理了大部分缺陷,但有相当部分的缺陷是无法有效诊断,直至