面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:tangyujia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡.Erasure Code存储能够以更低的存储空开销提供更高的可靠性.然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储在写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性.针对这两个问题,本文提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法.通过在我们开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53%.
其他文献
  在torus网络中气泡流控是一种有效、实用的死锁避免技术。关键气泡机制使用虚跨步技术,只需要使用一个报文缓冲区就可以避免torus网络中的环内死锁,但是却存在阻塞的可能。
会议
TD-SCDMA的中文含义为时分同步码分多址接入,该项通信技术也属于一种无线通信的技术标准,它是由中国第一次提出并在此无线传输技术(RTT)的基础上与国际合作,完成了TD-SCDMA标
  本综述目的是确定卒中后的第一个月不能行走的患者成为独立行走的概率。共有26项研究,荟萃分析显示,对卒中后的第一个月内在康复卒中单元和急性卒中单元内不能行走的患者,卒
会议
  本文简述了神经发育与神经再生研究的关系,介绍了神经发育研究的理想模式生物,分析了神经发育研究的方法,并探讨了目前有关神经发育研究的成果。BMP, Wnt, PI3K, Nodal, FGF
  通联关系社团挖掘是犯罪组织或恐怖组织的发现手段,在计算上通常采用图算法来实现。但是随着通联关系数量的增多,图的规模越来越大,需要分析的节点超过了数百万级,边的数量达
会议
  协同过滤是到目前为止最成功和应用最广泛的推荐技术,然而,由于用户-项目矩阵极端稀疏导致推荐不精确.针对该问题,本文提出了三种数据填充方法和两种推荐策略.对评分矩阵中
会议
  面向海量遥感影像数据的管理,结合文件间的语义关系,构建面向空间数据检索应用的文件目录体系。该方法通过影像元数据概念语义关系集合运算及属性项的语义相似度计算构建部
  网页的内容信息对于提高聚类质量来说并不完全够用,针对网络社区网页之间存在的天然链接关系,本文提出了一种挖掘用户标签的增强型社区网页聚类算法。本文采用多种距离度量
  对某并行文件系统的I/O性能进行分析和测试。从软件结构和硬件部署结构等方面对某并行文件系统进行简要介绍,分析并总结影响其I/O性能的因素(I/O性能因子),设计测试用例,重
国家安全高于一切,守护责任重如泰山.不仅仅是屏幕中的谍战片,而是与每一个人息息相关、近在咫尺.在维护国家安全上,谁都不是局外人、旁观者,而是人人有责,更需人人尽责.
期刊