基于Hadoop的分布式文件存储服务平台设计与实现

被引量 : 0次 | 上传用户:playallprogram
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网应用的飞速发展,互联网上的信息和数据量呈现爆炸性增长,如何高效、安全地组织和存储这些大规模的数据,并最大程度地降低应用成本,引发了国内外越来越多的学术界和企业界的关注。当前,无论在广义的互联网环境中,还是在中等规模企业的内部网中,抑或在小规模的局域网中,都存在着大量高性能且廉价的闲散存储资源。充分利用这些闲散、廉价的存储资源,构建可信、优质的大规模存储池,是解决上述问题的有效手段。分布式文件系统为有效利用分散存储资源提供了一条途径。然而,传统意义上的分布式文件存储系统,如Hadoop页目中的HDFS,是运行在结点性能相似、网络环境高度稳定的集群系统中的。因此,如果直接将传统的分布式文件系统部署在网络环境动态变化、存储结点自由进出的网络中,则存在空间利用率低、网络动态适应性差、存储结点信誉度低等问题。本文以Hadoop开源系统为基础,研究适用于广域网络的广义分布式文件存储服务模型,设计并实现了一个基于高效冗余备份策略及服务品质感知的分布式文件存储服务平台——QDFS。研究工:作取得如下成果:(1)将分布式文件存储系统建立在动态网络环境中,充分利用了网络环境中的廉价计算资源,降低了存储服务系统的总体拥有成本;(2)提出了一种基于恢复卷的冗余备份机制,大大减少了文件冗余信息的存储空间,并日降低了文件的维护成本;(3)建立了基于层次化名称结点的树状存储系统模型,解决了不同集群间不可共用一套分布式系统的瓶颈问题;(4)设计了一个文件存取客户端软件,解决了Hadoop客户端在Windows环境中的运行问题。
其他文献
工业旅游作为一种新型的旅游方式,有着知识性、强依托性等特点,能够满足游客求知、考察参观、体验等高层次需求。我国工业旅游已进入市场化发展阶段,但与国外相比还有一定差距。
<正> 春暖花开,万物复苏、野草萌发,上菜市场时常可见卖苣苣菜、面条菜、茵陈等野菜。在美味佳肴布满餐桌的今天,野菜以它独有的清香,格外受宠,其中茵陈,又以它味美、药用双
期刊
芩连片由黄芩、连翘、黄连、黄柏、赤芍、甘草六味药物组成 ,具有清热解毒 ,消肿止痛之功 ,用于口鼻生疮 ,热痢腹痛 ,疮疖肿痛等。收载于《中国药典》2 0 0 0年版一部。本文
汉字部首排检法规范化试探──“论切分、定位(定序)”归部法苏宝荣目前,多数汉语语文辞书是采用部首或音序编排方法,前者如《辞源》、《辞海》,后者如《新华字典》、《现代汉语词
<正> 王永炎教授曾经收治过这样一名中风患者:53岁,男性。4天前发现左侧偏瘫,口舌歪斜,意识朦胧,4日未解大便。王教授先投之以大黄、芒硝等峻下药为主的汤剂,2剂便通后旋以平
<正>以人为本是科学发展观的核心,是企业思想政治工作的灵魂和根本。商业企业政工以人为本,就是以员工为主体,以员工的根本利益为出发点和落脚点。要关心员工、理解员工、引
<正>红藤又称省藤、赤藤、血藤、大血藤、活血藤,为大血藤科落叶藤本植物大血藤的茎。主产于河南、安徽、江苏、浙江、湖北、四川、甘肃等省。据李时珍考证,此药最早收载于唐
本文从信息类大学生工程创新能力培养的内在规律和要求出发,确立工程创新人才的培养目标,将TRIZ创新理论和CDIO教育理念相结合,运用TRIZ创新方法改革工程教育和创新实践,改革
《小企业会计准则》于2011年10月18日发布,并将自2013年1月1日起在全国小企业范围内实施。本文对《小企业会计准则》内容、体系进行了研究,对其与《企业会计准则》在会计核算
核电厂的过程测量参数直接反应核电厂的运行状态,而过程参数的测量则通过过程仪表系统完成。本文将对核电厂过程仪表的布置安装设计进行探讨,简述过程仪表的安装设计原则和布