基于对象存储的分布式小文件系统的研究与设计

被引量 : 0次 | 上传用户:zeus2040
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的蓬勃发展,云计算的浪潮汹涌澎湃,越来越多的互联网企业选择将他们的业务迁入云中,伴随业务的发展,研究人员发现来源于博客,社区,视频网站,微博等数据密集型web2.0网络应用,会在应用后台产生数目庞大的小文件,而且随着时间的推移,海量小文件的增长呈几何级增长,同时,小文件的存储访问管理也带来了诸如高并发,大流量,以及热点不集中等问题,传统的分布式文件系统如NAS等,并不能有效应对这种海量增长的小文件服务应用。为了应对海量小文件高并发,高频度,大流量,以及存储管理的问题,本文提出了基于对象存储的分布式文件系统BerryStore的设计与实现。通过对Google,FaceBook,淘宝等公司提出的成熟的分布式文件系统解决方案的研究后,BerryStore结合了以上几种方案的优势之处,通过采用对象存储的方式将海量的小文件集合成大对象文件进行存储管理,并在内存中建立对象文件元数据索引的方式,减少了小文件访问在系统中的IO开销。我们进一步利用Zookeeper设计并构建集群的协调控制体系结构,实现了对整个分布式系统进行配置,状态,数据同步以及管理的功能,避免了复杂的数据一致性访问控制流程,简化了整个存储系统的复杂度,提高了该小文件系统的可靠性。本文首先介绍目前主流的分布式文件系统在云计算平台中的应用现状,并对若干经典的架构技术进行了研究,在对比这些已有的方案之后,我们设计了应对海量小文件存储的一个系统方案,并在后面对方案进行了详细设计,对该原型系统进行实现以及性能评测,并将其与之前我们所探讨的已有方案进行对比。最后我们对目前阶段的工作进行了总结并对未来工作进行了展望。
其他文献
文学作品是语言形式与内容完好结合的产物 ,在传译文学作品的过程中 ,形式与内容的统一往往成为译者的一大障碍。本文借助 The Adventures of Huckleberry Finn的两个中文译
本论文合成了9个有机膦酸化合物,通过红外光谱、元素分析确定了它们的组成和结构。其中选用CH3C(NH2)(PO3H2)2 [aedpH4]作为有机膦酸前体在水热条件下制备了2个新奇的具有三维开放
微信公众平台于2012年8月23日正式上线,其独有的优势及庞大的用户群使其在一年多的时间里成为高校学生组织广泛开发和应用的新媒体,创新了学生会的工作模式。本文从"黑大新闻
电视采访是电视节目制作中十分重要的环节。它不仅是新闻事件第一现场的真实还原,同时也是客观事物内在延伸的适时渲染。纵观当今电视媒体,每一类节目自由制作,每一种表现形
我国越来越多的中小企业采取网络营销的方式进行营销活动,增强自己的市场竞争优势,但也存在诸多问题。为此,我国中小企业应加强网络营销意识,优化网站建设,加强网络营销专业
本文从几个方面出发,对林业育苗技术质量的关键要点进行了分析。
本文以个别真人秀节目为例,分析说明他们对儿童、青少年学生们产生的影响,并提出了相应的措施,使真人秀节目能继续发挥积极作用抑制其消极影响。
<正>一、微博"大V"微博"大V"是指的是微博上身份获认证的意见领袖。现在通常把"粉丝"在10万以上的账号称为微博"大V"。"V"可以有双重解释,既是指"认证"一词(Vertification),
目的探讨心理康复对老年抑郁症患者认知功能的效果。方法选择本院2014年6月—2015年6月将107例老年抑郁症患者随机分为两组,对照组(54例)和试验组(53例),对照组仅接受常规药
住宅建筑的能耗与人的使用行为息息相关。目前我国的住宅能耗水平远远低于美国等发达国家的水平,这与我国居民一直以来形成的较为节俭的使用模式紧密相关。随着我国经济水平的