面向纠删码存储集群的离线归档优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xingchen8888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
纠删码具有低存储开销高容错特点,可以将(k+r,k)纠删码用于归档访问频率低的数据副本,既可以保证数据的可用性,又可以提高存储空间的利用率。根据待归档数据块的存放规则,数据归档可分为固定布局数据归档和随机布局数据归档。在固定布局数据归档中,传统的同步编码方案因为编码任务集中,存在磁盘读写竞争,网络带宽限制归档性能等问题。为了克服这些缺点,提出流水线的编码处理方式加速存储集群的数据归档性能。首先,在镜像RAID-5和三副本集群中应用链式分散机制提出了两种新的数据布局([D+P]cd和[3X]cd)。其次,基于两种数据布局,设计了两种归档方案(DP和3X),其表现出以下三个显著特点:(ⅰ)利用数据局部性,编码过程中的相关节点都读取两到三个本地数据块;(ⅱ)分散计算负载,编码操作被分散到k个节点;和(ⅲ)并行归档,两到三条编码流水线同时部署,产生奇偶校验块。在真实的存储集群中实现两种归档方案(DP和3X),以及三种现有的解决方案(即SynE,DE和RapidRAID)。实验结果表明,本文的归档方案在9节点存储集群中的归档时间优于其它三种归档方案至少3.41倍。在随机布局归档中,传统的归档方案将大数据块划分为小数据分块进行处理,并沿用分布式集群中的数据局部性,存在随机读和归档任务分配不均等弊端。本文利用预取技术,对原有的随机布局归档方案(CArch、DArch和BArch)进行改进,提出预取归档方案(PCArch、PDArch和PBArch)。在真实的存储集群中实现以上六种随机布局归档方案,实验结果表明预取技术能有效改善随机布局归档性能,预取归档方案比非预取归档方案性能至少提升1.62倍。
其他文献
多目标进化算法(MOEA)以其独特的性能被广泛应用于学术研究和工程实践中,该算法的特点是无需定义目标权重而算法运行一次可以找出一组符合约束条件的非劣解,再由决策者根据其
TD-SCDMA是我国自主研发具有自主知识产权的3G国际通信标准之一,它集CDMA、TDMA、FDMA和SDMA技术于一身,具有系统容量大、抗干扰能力强、频谱利用率高、自适应功率调整等诸多
Bezier曲面是CAD/CAM系统中最基本的造型工具之一。它采用Bernstein基函数、控制顶点以及与控制顶点关联的权值来表示曲面,具有良好的数学性质,能够满足一定的光滑和光顺要求
创新设计是企业生存以及发展的动力因素,也为企业注入了新鲜的血液使企业在如今的市场竞争中立于不败之地,但由于设计者的思想受到以往的惯性和行业及学科的限制,很难找到全新式
随着网络技术的迅猛发展,电子商务作为一种全新的企业经营手段迅速发展并逐渐成熟。在电子商务环境下,交易双方往往会为了争夺有限的资源,而不可避免的产生争议与冲突。在电
随着科学技术的不断进步,随着计算机技术和人工智能技术的不断发展,人工智能技术的应用领域得到不断的拓展,使得一些领域的非常枯燥的人工劳动,逐渐被具有相同功能的设备所代
随着经济的迅速发展,汽车使用量迅速增加,虽然道路也随之不断扩展,道路交通负荷还是比较严重,交通事故发生频繁。由于道路交通事故中,行人在遭遇危险时避开车辆的能力较差,因
随着信息化时代数据信息的爆炸式增长,海量冷数据的归档存储成为数据中心依赖的重要基础技术之一。随着蓝光光盘技术的飞速发展,能提供低成本、低能耗、高容量、高可靠性服务
随着企业信息化建设的深入,企业逐步开展业务系统建设,由于系统的建设时期、开发技术、业务特征等诸多因素影响,这些系统之间并不能有效地实现信息共享和交互,将不可避免地导
XML以其扩展性、结构性、平台独立性和自描述性等特性成为数据表示和交换的事实标准,越来越多的应用使用XML来存储、交换和发布信息。但是目前关系数据库并不能很好的支持XML