一种基于Hadoop/MapReduce的可扩展存储系统架构研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wangxingyu2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,数据规模以指数级的速度增加,如何来存储和处理这些数据是一个挑战性的问题。Hadoop允许用户不熟悉分布式的情况下,充分利用海量存储的集群和高速计算,做分布式应用程序开发。Hadoop最出名的是MapReduce分布式计算框架和它的分布式文件系统HDFS。主要特点是:成本低,扩展能力非常好,效率高,出色的可靠性。它是可以运行在在多个操作系统和商用类硬件上的系统。但是,HDFS设计的初衷是存储大文件的,当面向某些特定应用的时候,应用会产生大量的小文件,小文件的增多就会导致文件存储速度过慢,系统使用内存急剧升高。针对这一问题,提出了一种新的架构HUST MAP-REDUCE FRAMEWORK(HMRF),采用了文件合并的思想对小文件合并成为大文件的方法,对小文件存储进行了优化处理。实验表明,基于Hadoop/MapReduce的可扩展存储系统架构(HMRF)能够很好的存储大量小文件。基于HMRF,名称节点内存平均降低了63.2%,数据节点内存平均降低了38.7%,小文件写入速度平均增加了171%。
其他文献
学位
随着网络信息技术的飞速发展,基于网络的贸易、娱乐、通信和教育等活动也逐渐发展起来并在实际中得到了越来越多的应用,网络活动的安全性问题也受到了越来越多的关注。认证技
随着数码摄影设备和互联网的飞速发展,随着手机和平板电脑等移动设备技术的不断进步,越来越多的图像、视频等超文本媒体信息不断涌入人们的视野并且持续传播扩散。面对如此大
随着嵌入式系统与网络的日益结合,具备网络通信能力的嵌入式设备已成为必不可少的需求。IPv4地址空间的严重不足,已不能满足数目庞大的嵌入式设备,能够支持下一代因特网的嵌
XML (eXtensible Markup Language)即可扩展标记语言,是W3C定义的一套语义标记规范。随着网络应用的快速发展,Web上的数据成指数级增长,XML逐渐成为Internet上数据交换和描述
无线传感器网络综合了微电了技术、无线通信技术、嵌入式计算技术、现代网络以及分布式信息处理技术等先进的技术,其研究已经成为无线通信领域的重要课题。无线传感器网络能
云计算的发展越来越快,它可以提供用户更大范围的数据处理和共享能力,通过存储虚拟化整合不同的存储资源,用户可以通过单一的用户界面访问云中的数据资源,而不会显露底层基础
随着互联网的普及,涌现出了大量的互联网应用,例如社交网络,在线视频,图片分享,电子商务等等,Web2.0的时代也随着来临。这些应用普遍采用分布式的架构来存储用户产生的海量数据,如何
近年来,越来越多的计算机科学方法被广泛应用到诸如生物学等领域。一方面,计算机科学的方法可以通过在计算机上进行模拟等方式使得对问题的研究可以摆脱原本复杂的实验环境和
公钥密码(Public Key Cryptography, PKC)在保证开放的网络(如互联网)中通信的真实性和保密性上起着至关重要的作用。目前,RSA密码体系仍然是最重要而且应用最广泛的公钥密码