基于Hadoop的大数据存储系统的设计与实现

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:cyzmie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的高速发展,数据量每天以TB甚至PB级别海量的增长,人们对数据的存取效率和安全性的要求也在不断的提高,传统的数据存储技术在处理海量数据方面显得力不从心,如何高效的存储和读取数据已经成为人们研究和关注的热点问题。Hadoop是目前大数据存储中比较成熟的解决方案,它具有高可靠性、高扩展性、高容错性和高效性等诸多优势,而且它还是开源免费的,非常适合科学研究,因此本文选择Hadoop平台来搭建大数据存储系统。Hadoop是一种能够对海量数据进行高效地分布式处理的框架,它主要由HDFS(分布式文件系统)和Map/Reduce(分布式计算框架)两个核心技术组成。其中HDFS主要用来存储海量数据,它把文件分成若干个相同大小的文件块,然后将这些文件块分别存储在不同的节点中。而Map/Reduce主要负责在海量数据上的计算。本文首先以HDFS文件系统为对象,深入研究、剖析了它的架构和数据组织方式,并针对其单个控制节点的性能瓶颈问题,给出了MongoDB数据库的优化方案。然后在廉价的PC机器上搭建了基于Hadoop平台的大数据存储系统,该系统不仅实现了文件上传、下载、分享、文件保险箱、文件在线浏览和回收站等功能,而且采用Ganglia来对大数据存储系统进行实时监控,可以很容易地查看每个节点的工作状态。实际应用表明,该系统可以很好的满足大数据存储的需求,完全可以作为企业和学校的数据存储中心。
其他文献
目的:通过对反流性食管炎(Reflux Esophagitis)的有效方剂及其常用清热药的筛选、统计、综合分析,总结清热药在RE中的应用特点及规律。方法:采用临床回顾性研究的方法,以《中药
在佛山市、南海区政府和农业局的重视和大力支持下,由佛山市农机研究所和南海区农业机械化推广总站研制开发的水浮莲克星--P-150水浮莲破碎机通过由佛山市科技局主持的科研成
目的 :探讨用甲状腺全切除术和甲状腺双叶切除术治疗甲状腺微小癌的临床效果。方法 :对我院收治的45例甲状腺微小癌患者的临床资料进行回顾性研究。将这45例患者随机分为A组和B
目的 :探讨使用改良的小切口瘤体切除手术治疗甲状腺腺瘤的效果。方法 :选取近几年我院收治的94例甲状腺腺瘤患者作为研究对象。根据这些患者入院的时间将其分为改良组和传统组
<正> 一、引言 计算机视觉又称机器视觉,是指由人类设计并在计算机环境下实现的模拟或再现与人类视觉有关的某些智能行为的技术,如对印刷与手写文字识别、图像模式识别和物体
核电是一种清洁的能源,相比于火电,核电具有环保、高效等特点。我们国家应当大力发展核电,来缓解我们国家能源短缺的压力。核电站利用铀燃料来进行发电,但是我国的铀矿储量并不
通常,运输车辆的货物倾卸采用液压举升机构,这种液压举升机构效果虽好,但由于挂车设置了液压系统,需增加动力输出装置、液压油泵、分配器、液压油管、液压油箱、液压油缸等,
目前,我国正处于快速城市化时期,随着城市的不断扩张,城市涌现出大量的城市新区,这些城市新区的开发和建设对促进地方经济发展、增强城市活力具有重要作用。然而,城市新区快
对面接触摩擦副表面织构分布方式和结构参数进行了优化分析,得到摩擦副承载力和摩擦因数随着结构参数改变的变化规律;计算结果指出织构化模型在一定工况条件下存在着最优的分
一、农业机械化发展的基本情况1994年成立地级云浮市以来,我市各级党委、政府对农机化工作非常重视,把它作为加快农业产业化经营重要一环来抓,切实加强对农机化工作的领导,逐