高可靠性存储系统的综合数据冗余策略

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:yysjtu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分级存储系统通常根据访问频率将数据分层:将访问频率最高的数据放在快速存储设备中(热数据层),将访问频率最低的数据存储在慢速存储设备中(冷数据层),将访问频率介于两者之间的数据放在中速存储设备中(温数据层)。分布式文件系统通常使用多副本技术来保证系统的可靠性和可用性,比如在集群的不同节点上保存数据的三个副本,多副本技术通常在热数据层被使用。类似于Reed Solomon的纠删码技术(Erasure Code)正越来越多被使用,因为纠删码技术能够进一步地减小存储开销,但是其提供了较低性能的I/O和可用性。所以纠删码技术被更多地用来存储冷数据(比如冷存储层)。现有系统使用三副本复制,纠删码技术或将两者融合合来实现异构存储系统。在这些实现中,多副本技术和纠删码技术的融合表明:两种技术在I/O性能和存储成本方面存在着巨大差距,这导致将数据从一种形式迁移到另一种形式将产大巨大的系统开销。因此,现有的方法不适用于温数据层实现,特别是在分层存储系统中。为了解决这个问题,在本文中我们引入了Warm Cache,一种用于存储温数据的新数据层:将一个副本通过纠删码技术存储,另一个副本则存储在主存储数据层中。在纠删码数据层中使用一个副本可确保数据可靠性,而另一个副本放在主存储数据层可提供高效的I/O性能。为了展示Warm Cache的性能,我们在Alluxio和Hadoop系统中实现了我们的方法,并使用TestDFSIO来测量系统的I/O性能和存储开销。结果表明,与传统方法(例如多副本,纠删码,两者组合)相比,我们的方案在存储开销方面的性能比纠删码技术高出10.2倍,比多副本技术高出3.63倍。
其他文献
社会助学活动随着自学考试的产生而兴起,随着自学考试的发展,出现了一些问题,分析解决高等教育自学考试社会助学活动中存在的问题,完善规范高等教育自学考试社会助学的法律规范,解
固态照明中,热折返是减少LED故障及避免因为过热而导致LED寿命缩短的常用方法,本文介绍了两种实现方式。
以某住宅楼工程为例,详细描述了其基础砌体裂缝的分布规律及形态特征,对裂缝宽度、砂浆强度进行了现场检测,并在此基础上对裂缝成因进行分析,最后给出了此类裂缝的防治措施,
建立离婚损害赔偿制度是我国婚姻立法的一大进步。本文认为,离婚损害赔偿是对侵犯配偶权行为导致的损害赔偿,应以受害方配偶、子女和与配偶共同生活的任一方配偶父母为请求权
本实验通过水杨醛与丙二酰肼的缩合反应合成了一种荧光探针L1,探究了探针L1识别Th4+的最佳条件,建立了荧光检测分析Th4+的方法.实验表明在p H值为2.5,V(DMF):V(H2O)=1:1的检测媒介中,
“年”是中华民族的传统节日。“年”这一个完整的节日,跨越冬末和初春,是一个时间段。米脂的过年从腊八节开始,“二月初二”结束,热闹且与众不同,米脂过年吃焖饭、送灶君爷
冬防,冬季防火的简称。在消防学研究中,冬季,因为天气寒冷,用火、用电、用气急剧增加,加之风干物燥,这一季节是火灾的多发期和重特大火灾的高发期。据统计,这一时期的火灾发
随着企业的发展和企业类型的增多,对会计人才的需求日渐凸现,代理记帐应运而生,它在提高会计业务优势的同时,也带来了影响会计业务秩序稳定的新问题,而且增加了金融风险的不
综述了不同的人造板甲醛检测方法的技术要求,介绍了有代表性的研究成果,并对不同的检测技术特点和发展趋势进行了探讨,提出适合我国人造板检测的技术方向和人造板生产的质量控制
流域区际生态利益失衡,从根本上说是相关利益主体基于个体理性的博弈导致集体非理性的结果。以闽江流域为例,基于博弈论视角的分析指出,建立激励和约束融合机制是促使横向、纵向