基于Hadoop的分布式数据存储系统应用的研究

来源 :沈阳工业大学 | 被引量 : 0次 | 上传用户:mmghb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术,信息化技术的高速发展以及全面普及,世界已经由互联网时代步入互联网+时代。各行各业,各种门户网站,电子商务网站每天都在产生各种大量的数据,数据量呈现井喷式的增长。对于海量数据的存储,进行垂直扩容的成本已经越来越大,这对于使用商业存储的企业来说负担已经变得越来越重,甚至已经成为制约很多企业发展的关键问题。要解决此问题,设计并实现高容量,支持高并发的大数据存储系统就变得愈来愈重要。直面大数据时需要解决三个主要问题:存储问题,分析问题,以及管理问题。存储是对数据进行操作的前提,所以解决数据的存储问题是重中之重。所以针对此问题,本文提出设计并实现一种基于Hadoop的分布式数据存储系统,使用Hadoop作为分布式的框架,通过该框架将多台普通机器组成集群,利用整个集群的存储空间实现一个分布式数据存储系统。传统存储系统主要是集中存储,将数据统一存储在一台机器或者一个服务器上,这样的存储方式具有很多问题,如遇机器故障则数据的完整性就得不到保障,本文提出一种分布式的策略,将数据分布存储,并且通过对数据进行冗余操作来保障数据的安全性可靠性以及完整性。首先对分布式理论以及分布式存储系统的应用现状以及关键技术进行分析和介绍。然后基于分布式的思想,设计并实现本文提出的基于Hadoop的分布式数据存储系统,在Hadoop的框架下部署搭载Linux系统的集群。在对集群进行可行性进行测试基础上,对文件数据的存取功能进行实现,然后结合实际问题对系统进行优化,最后对系统性能进行测试。通过对系统的测试以及与传统存储方式的对比测试,证明本文提出的分布式数据存储系统可以对大量的数据进行存储工作,并且可以保证数据的完整性,可靠性等,通过对系统的优化,在性能上也有巨大的提升。
其他文献
王官屯油田西区孔一段油藏经过30多年的注水开发,目前已进入开发中后期,随着含水率的不断升高,储层非均质性加强,层间、层内矛盾愈发突出。在高渗层段已形成优势渗流通道,导
从校企合作培养应用型人才的必要性分析出发,进而结合湖北文理学院培养应用型本科人才的实践与探索,说明了应用型人才培养在实践中所取得的成效,为校企合作培养应用型人才的
通过调查武陵山区魔芋软腐病发生规律,分析了绿色防控技术示范过程及效果。结果显示:魔芋软腐病的发病率为40.2%,其中种芋在贮藏期间的发病率为14.2%;软腐病烂种缺蔸率为10.5
针对"一带一路"对保护境外劳动者权益带来的机遇与挑战,分别从国内、双边、区域和全球角度提出系统的法律建构。我国应完善劳务立法、加强劳务管理、优化司法水平,发挥工作作
针对难以建立数学模型的时变时滞多变量复杂非线性系统,利用改进的具有辅助向量多变量紧格式动态线性化方法建立了系统泛模型。结合多变量广义预测控制,采用具有克服算法病态
随着计算机科学技术的迅猛发展,特别是当下互联网技术正处于广泛应用的阶段,我国也逐步提升对于计算机和互联网技术普及工作的重视程度,更在“十三五”规划中把互联网应用提
为了探究海德拉刀齿在滚筒采煤机上的安装参数对截割煤岩力学特性的影响,通过分析海德拉刀齿合金头和切削面破碎煤岩的力学特性,建立了刀齿截割煤岩的理论模型,根据单因素控
<正>一是要对新业务进行拓展。国内商业银行应该根据自身的实际情况,可以加强与境外银行的合作,为国内大型企业融资提供相应的资金服务,使得国内外企业能在海外市场上市、发
【正】 中国,这个社会主义大国,由过去排斥与限制商品经济到现今承认市场经济,无疑是一次划时代的革命。长期以来,由于思想的禁锢和实践的不足,在计划与市场的关系上,经历了