基于HDFS的文件传输策略的研究与实现

被引量 : 0次 | 上传用户:laoyoutiaosc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机与网络的迅猛发展,数据量也与日激增,据思科在其《全球云数据报告中》指出,由于用户和企业的不受限制地访问及应用数据的需求,在2010至2015年期间,全球云数据流量将以每年66%的速度增长。传统的分布式高性能处理平台处理数据的能力已经满足不了井喷式增长的数据处理请求。应运而生的云计算、云存储则满足此类数据密集性的服务请求。本文研究内容是基于Hadoop的云系列服务系统的文件系统HDFS在其读写过程中传输策略的研究。旨在通过对HDFS读写等基本操作的效率提高及容错来实现更高效率及高度容错的文件系统。云存储中的每个操作都离不开对文件系统的调用,对文件系统HDFS中最基本、最常用的读写操作的传输过程进行研究并改进,实现并行读写及高度容错,这会极大程度提高云存储服务中数据的访问速度及可用性问题。本文首先介绍了云存储的相关理论和技术,阐释了云存储的定义,并对其应用场合加以描述。紧跟着又对HDFS进行了透彻的剖析,并对其相关技术进行了解析和比较。随后对HDFS读写容错需要的技术进行详尽的描述,为接下来的研究提供的良好的技术保障。最后在通过研究HDFS读写机制进行分析之后,对HDFS的读写机制中文件传输进行改进,实现文件数据块级的并行传输功能。从而为云存储的高延迟及副本安全性问题提供一个可靠的解决方案。本文主要实现了云存储文件系统的文件系统HDFS中文件读写过程中的并行传输策略,及改进的副本自动复制策略,提高了读写效率,降低延迟时间,为云存储用户提供高效并稳定的服务。在本文的改进策略下,充分利用了副本的存在,分散了网络的负载,数据读的效率可提高160%,数据副本的复制效率也大大提高。
其他文献
基于半导体纳米线的光电子器件,因其构造基元、制备、结构、功能的独特性,吸引了广泛的关注。光电探测器、太阳能电池、发光二极管、激光器等原型器件被陆续研制。纳米线基元
接触线磨损检测是保证轨道交通安全运行的重要工作。为实现接触线磨损实时在线检测,采用激光轮廓测量仪扫描获取两根接触线的轮廓数据,同时由搭载在检测车上的光电旋转编码器获
同步辐射光电离质谱技术(SVUV-PIMS)由于具有“软”电离的特性,己经在燃烧和能源研究领域取得了一系列创新性的成果。但目前国内外可配备于SVUV-PIMS技术的质谱仪类型品种单
随着天文观测和研究水平的提高,天文学家对于观测仪器的要求也在不断提高。地面光学望远镜作为天文研究的主要仪器发挥着越来越重要的作用。但是靠近地面的大气层给地面望远
词汇作为一个基本单位,在语言构成和语言交际中起着重要的、决定性的作用。一个人如果想学好一门语言,必须先学习词汇。因此,对于语言学习者而言,要想提高英语综合能力(包括听、
表决权信托是信托法领域与公司法领域的结合和创新,是通过股东之间争夺控制权从而达到中小股东参与公司治理的一种手段。表决权信托自其1864年在美国产生以来,经过一百多年的发
本论文系统的研究了硅取代磷酸铝分子筛SAPO-34的尺寸和形貌对其在甲醇转化制取烯烃(MTO)反应中催化表现的影响。实验结果显示,催化剂的失活行为和催化寿命明显的受到了催化剂尺
在引发重大传染性疾病的病原体中,包括HIV-1在内的众多病毒,都需要协调宿主体内多种积极的细胞因子,并借助宿主细胞内的各种系统来完成病毒自身高效的复制。而另一方面,哺乳动物
结合某铁路软岩深埋隧道,利用FLAC3.0有限差分法进行了位移模拟计算,选取较适合的伯格斯弹—粘塑性体模型模拟分部开挖施工,模拟中选取了4个关键点进行观测,结果表明计算的变
目的:描述长春市实习护生在医疗机构实习期间遭受工作场所性骚扰的现状;分析影响因素及原因;探讨可行的预防、处理性骚扰的方法和制度。方法:于2012年11月至2013年1月,对长春市4家