分布式检查点系统的存储优化策略研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:xulele2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机硬件水平的不断提高,超级计算和云计算架构的规模以及复杂度也随之而增加。然而随着计算规模以及复杂度的增加,计算任务发生故障的概率也会增加。例如在分布式系统中,一个节点的计算因为意外情况导致运行失败将导致整个计算任务运行失败,这将带来巨大的资源浪费。因此,能够在故障发生时容忍故障就显得尤为重要了。检查点技术就是这样一种有效的容错手段,己经被广泛应用于计算机、数据库系统中。通过使用检查点技术,可以将程序在内存中的状态信息写入到持久性的存储设备中。一旦程序运行发生了意外,通过将检查点文件中的内容重新映射到内存中,最后能恢复程序的继续运行,这样就能够最大程度的避免计算时间和资源的浪费。然而随着检查点需要存储的内容越来越多,而且检查点的设置也越来越频繁,因此使得检查点文件的大小也越来越大,这样就给存储的可扩展性带来了巨大的挑战。本文首先分析了检查点文件中所组成的内容,然后针对于这些不同的内容来进行实验,以此来获取检查点文件中内容的冗余性。在检查点文件中存储的内容有:进程描述符、进程地址空间中的内容、寄存器里面的数据等。而对这些内容在检查点文件中存储的比例中分析,发现进程地址空间中的内容占据了检查点文件中大部分的存储空间。在随后对进程地址空间中的内容进行分析后发现,栈段自身存在着非常多的冗余信息,而在分布式程序中,不同进程间的堆、栈段有着极高的相似度,同时这些进程所运行的代码段、加载链接库以及采取了共享内存通信方式的共享内存内容都是相同的。根据检查点文件中所组成内容的冗余性,本文提出了一种减少检查点文件大小的方法。该方法是在设置检查点的过程中,根据检查点文件中的内容的冗余性来采取不同的处理策略,最终达到减少检查点文件大小的目的。DMTCP是一个开源的检查点工具,根据本文所提出的减少检查点文件大小的方法,本文对基于DMTCP的检查点系统进行了设计与实现。最后使用该系统进行实验,实验显示了通过使用本文的方法可以减少单节点的应用程序检查点文件大小20%左右,能够减少分布式程序检查点文件大小47%左右。
其他文献
道路货运车辆需要定期进行安全性能检测和技术等级评定。因其具有外廓尺寸大、检验项目多、复检率较高等特点,在现有顺序检测调度过程中存在检测周期长、设备利用率低等问题
移动式无线供电系统可以实现电能输送端与受电端具有相对运动和无实际物理连接情况下为受电端持续供电的能力,可以很好地解决固定式无线充电中存在电池储能少、充电空档期长、设备体积大和后期维护频繁等问题。但移动式无线供电方案也存在不足,由于收发两端存在相对运动并且负载投切频繁,系统中关键参数如耦合系数及负载易产生明显的波动,极易导致原边电流波动使供电端无法提供稳定磁场能量,进而导致系统输出功率失稳、效率过低
透明电极是一种兼具高可见光透过率和高导电性能的材料,广泛应用于平面显示、太阳能电池等领域。近年来,随着柔性电子、可穿戴式器件的发展,对透明电极提出了更高的要求。不
随着新一代信息技术的快速发展,城市管理信息化进程正处于从数字化向智慧化转变、升级的发展阶段。智慧城管是构建、完善新型城市管理体系的重要部分,作为大数据、云计算等信息技术应用到城市综合管理领域的一项试验,有效拓展了城市管理边界,提升了管理效率,降低了管理成本。随着城市信息化建设的不断深入,智慧城管发展需要实时跟进新技术的进展,进一步完善智慧城管基础平台建设,整合、扩建、升级改造配套的应用系统,发挥智
随着城市化规模的不断扩大,城市交通拥堵问题成为了城市发展的重要问题制约。城市地铁的发展在一定程度上解决了城市的交通问题,同时地铁具有运输量大、速度快等优点,也成为市民较为受欢迎的出行方式。但是地铁通常建设在地面之下,处于半封闭式、客流量大、人员密集,因此地铁的运营安全问题尤为重要。因此,对于地铁运营安全风险进行识别,能够为地铁的安全运营提供一定的保障,在一定程度上避免事故的发生。因此,本文以西安地
Aurora激酶是一类新型的苏氨酸/丝氨酸蛋白激酶,在中心体复制、两极纺锤体形成、染色体重排和染色体检查点监测等重要的有丝分裂过程中发挥着至关重要的作用,是研发抗癌药物
十八世纪美国共和国早期文学大都被视为沿袭英国小说模式,迎合图书市场,缺乏创新和美学价值的产物。在文学日益式微的时代,一批职业作家的诞生为这一时期的美国文学注入了新的活力,他们将叙事作为公共财产,在文学创作中尽情抒发着自己的政治观点与文学才华。在这批文学先驱者中查尔斯·布罗克登·布朗显得尤为亮眼,作为美国的第一位职业作家、第一位哥特小说家,以及一位文学创新者,他在创作中表现出的多样性与创新性,意味着
目的:局部和远端取穴是针灸的基本选穴原则,本研究通过观察电针外关穴对健康志愿者外关穴、合谷穴、臂臑穴、四白穴及条口穴所属运动皮层代表区(即前臂区、手区、上臂区、面区及下肢区)兴奋性的影响,以不同运动皮层代表区的相互作用为切入点,探讨穴位的近治及远治作用,同时为临床穴位的配伍提供科学依据。方法:纳入符合标准的健康志愿者20例,脱落5例,最终纳入数据分析15例,其中男性3名,年龄22-34岁。每个受试
十九世纪中期以来,西方各国经历了工业革命的洗礼实力激增,正迫切寻求商品销售市场和原料产地,地处东亚一隅的日本在列强入侵以及国内封建统治的双重危机下亦陷入内外交困的境地。这一时期日本最为急迫的国民性课题便是:如何避免沦为殖民地、半殖民地,如何摆脱幕藩体制实现国家统一,进而建设近代化国家。小野梓苦心钻研学术,倾其一生发表的大量著述以及从事的广泛的社会活动均是为攻克这一课题而开展的,在某种程度上可以说小
本文分别以丁香叶和玉米芯提取液为还原剂,对应的植物滤渣和活性炭为载体,以氯钯酸钠为钯源,采用生物法还原制备负载型纳米钯催化剂。并通过UV-Vis、XRD、TEM、FT-IR等手段,