Hadoop分布式架构的研究与实际应用

来源 :北京邮电大学 | 被引量 : 17次 | 上传用户:taixiangle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今的技术领域,大数据是个热门的IT流行词语。为了减轻处理大量数据时的复杂度, Apache开发了Hadoop——一个可靠的、可扩展的分布式计算框架。Hadoop分布式架构能够轻松应对二十世纪的大数据挑战,这些数据包含结构化和非结构化的数据,而且Hadoop分布式架构还能大规模并行处理这些海量数据。因此对Hadoop、以及其重要组成部件:Hadoop分布式文件系统和MapReduce(Google MapReduce的开源实现)有一个基本的认识很有必要。在对Hadoop分布式文件系统和MapReduce有了一定认识的基础上,对如何提高Hadoop稳定性进行研究,并尝试优化其性能。在本文中,首先对文章论题的研究背景、研究内容和研究目的进行了讨论,探究Hadoop在二十一世纪不可或缺的重大作用;在这个理论基础上,进行了Hadoop分布式架构系统的搭建,以及在Hadoop分布式架构中加载HBase、Hive等模块,并分析解决Hadoop集群搭建与运行中常常遇到的问题;然后进一步对Hadoop分布式文件系统进行分析与研究,分析常用的读写方式;最后对HDFS在实际应用中可能存在的优化点进行探讨,进行理论研究,然后在研究的基础上,基于已经搭建好的Hadoop集群进行测试。
其他文献
自2005年7月21日我国实行汇率改革,并且实施管理浮动汇率制度以来,人民币汇率的波动性显著增强,到目前为止累计升值超过30%以上,在这样的情况下,投资者对于规避人民币汇率风
中央经济工作会传递出三个与投资者密切相关的政策信息。
目的探讨超声心动图在川崎病(KD)性冠状动脉瘤(CAA)合并血栓及其并发症的检测与随访中的价值。方法回顾性分析超声心动图定期随访的18例KD性CAA合并血栓患者的临床、超声资料
增殖细胞核抗原(proliferating cell nuclear antigen,PCNA)是一种独特的核内蛋白质。在细胞核内,三个PCNA分子首尾相连构成围绕DNA双螺旋的滑动环状结构,借此招募DNA聚合酶和多种
篮球运动集观赏性、娱乐性、对抗性和集体性等于一身,实施简易、方便,在我国具有极其广泛的群众基础。特别是新世纪以来,随着姚明、易建联、孙悦等篮球明星登陆NBA联赛并展示出
词汇作为语言学习的基础,在听、说、读、写这四大语言技能中,都占据着重要地位;词汇学习对于语言学习者来说也一直是一项困难的任务和过程,尤其对中国的外语学习者来说,习惯了传统
他汀类药物是临床上治疗高胆固醇血症的主要药物。研究发现他汀类药物具有抗肿瘤作用。实验室研究显示他汀类药物可抑制多种肿瘤得增殖,如乳腺癌、结肠癌、胰腺癌、白血病、恶
<正>在近段时间的物理竞赛题目中,变换的推导题型日益突出,体现了现阶段教学对于学生思维的连贯性、发散性要求的提高.这种题型的特点是:以题设的某种物理状态作为基准,对其