大规模存储系统快速恢复方法研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:xuzhijiazhz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,分布式存储系统集群规模快速扩大,在单节点故障概率恒定的条件下,随着集群规模的增加,整个系统数据可靠性和可用性都会降低。提高系统中数据的可靠性和可用性可通过使用更快的数据恢复速率实现。但考虑到系统正在提供服务,盲目提高数据恢复速率会对前台服务产生干扰,使得前台负载和数据恢复的性能下降,并浪费宝贵的带宽资源。因此,亟需一种数据恢复方法能够在加快数据恢复速率的同时最小化对前台性能的干扰。本文探索大规模存储系统中快速且对前台负载低干扰的数据恢复方法。本文基于对线上系统负载和节点失效记录的分析,找到现有系统中恢复方法存在的问题,并设计了一套基于时间片的中心化数据恢复协议。为改善中心化调度器使其不会成为性能瓶颈并提升调度质量,本文采用一系列优化技术实现快速高质量的任务调度。本文的方法成功在大规模存储系统中实现了仅引入微小前台性能干扰的同时快速完成恢复。本文主要研究工作包括:(1)对线上大规模存储系统的前台负载和节点失效记录进行分析。通过分析发现:一方面,在具有这样规模的存储系统中前台负载存在短期不均衡现象和动态变化现象,现有的数据恢复方法无法在短时间内生成一套高质量的数据恢复计划;另一方面,节点失效产生的调度量巨大且可选择参与恢复的节点数量众多,复杂的调度算法无法很快的生成调度结果。(2)提出大规模存储系统中快速低干扰的数据恢复方法Dayu。Dayu采用了一个基于时间片的数据恢复框架,在每个时间片内只调度一部分任务,并期望它们能够在当前时间片内完成。这个协议在适应了动态的负载变化的同时降低了计算开销。在每个时间片内,基于对线上系统的观察,Dayu提出并采用了4个关键技术,实现了恢复协议中调度算法的快速高质量。(3)实现Dayu并进行了全面的性能测试。在大规模存储系统Pangu的基础上实现了Dayu,并在真实集群环境和模拟环境下分别进行了性能测试。在1000个节点真实集群中的实验表明,Dayu比Pangu原本的恢复协议拥有同时更高的恢复速率和较低的性能干扰。25000个节点的模拟实验表明Dayu拥有优异的可扩展性,可在2.5倍于目标规模的集群中正常运行。
其他文献
内部类定义在一个类内,学会使用内部类,便掌握Java高级编程的一部分。对内部类在JDBC中的应用作了探讨。
随着区域经济社会的快速发展,各类社会组织如雨后春笋般的萌生和发展,正成为不可或缺的生力军。其中行业协会商会在促进经济快速发展的过程中最为活跃,并发挥积极的助推作用
在经历了"十年黄金发展期"之后,国内农机市场由当初的持续高位增长逐渐转向中低速增长,我国农业装备行业也由原先的"跨越式"、"超常规"发展逐渐回归理性化和常态化。特别是近几年来
笔者在近期参与的行业活动中,与一些企业的负责人交流起评选活动,得到一些交流信息。首先,一致认同的是,行业需要评选评奖,来鼓励先进,促进行业进步。其次,评选和评测活动,应
以锦西民园二期B区工程为例,论述膨胀聚苯板外墙墙体保温的施工技术.
基于位置服务(Location based service,LBS)带来生活便利的同时也存在着潜在的隐患。针对该问题,提出一种用户自我感知的位置隐私保护算法。用户向LBS服务器发送请求,自我感知周围其他真实用户的存在与分布情况并形成匿名区域,将匿名区域随机划分为几个子区域,一同将位置信息发送至服务器。仿真结果表明,该方法能够有效提高用户匿名质量,降低合谋攻击成功率,降低通信开销,确保用户位置隐私安
鱼子寿司  材料:米饭90 g,鲢鱼子(3个的量)24 g,清酒1小匙,盐1/2匙,鲱鱼子3个,鲣鱼汤180 ml,飞鱼子(3个的量)30 g,紫菜(3 cm宽)6张,紫菜(1 cm宽)3根,芥末少许,酱油少许,浓酱油40 ml,料酒20 ml。  制法:1. 鲢鱼子先用水冲洗一遍。  2. 将适量的清酒和盐混合,待盐溶化后再放入鲢鱼子,放入冰箱冰1天。  3. 将鱼子放入微热的盐水中浸5~6 h
从总体和个别两个角度来展开探讨,通过概述现代学者对民国时期校勘学的研究状况,具体介绍现代学者对民国各大 校勘学家的分析成果,旨在加强对民国时期校勘学演变及其发展脉络
江苏省大丰市民政局为促进全市志愿者管理工作迈上新的台阶,及时下发书面通知,开展志愿者网上注册工作。
中共湖南省社会组织工作委员会日前召开社会组织党组织党的群众路线教育实践活动部署动员大会。湖南省民政厅厅长、党组书记段林毅出席大会并作动员讲话,副厅长李劲夫宣读了《