基于Hadoop的大数据处理云平台的研究与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:Depthcharge2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,海量数据不断地产生,企业也面临着如何更加高效地存储和分析大量数据的问题。Hadoop是业界流行的大数据处理平台,应用十分广泛,但Hadoop在后端存储系统的扩展性、应用场景的多样化、部署效率、资源利用率等方面仍存在一些实际问题需要解决。本文从解决前述问题的角度出发,对与Hadoop系统相关的关键技术进行了详细的分析,最终确定以GlusterFS分布式文件系统和OpenStack云计算平台为基础,提出了基于Hadoop的大数据处理云平台的构建方案并成功实现。本文主要工作包括以下几个方面:(1)对与Hadoop系统相关的关键技术,包括分布式文件系统(主要是HDFS和GlusterFS)、MapReduce并行计算框架、OpenStack云计算平台技术,从系统架构到实现原理进行了详细的研究与分析;(2)针对Hadoop后端存储系统存在单点瓶颈、应用场景面较窄等问题,提出了基于GlusterFS的Hadoop系统,即以GlusterFS替代HDFS与Hadoop MapReduce进行结合的大数据处理系统方案,同时设计并实现了两种不同的系统架构;(3)针对Hadoop集群存在的部署效率低、资源利用率有限等问题,以OpenStack部署Hadoop虚拟机的大数据处理云平台为基础,设计并实现了对于Hadoop虚拟机大数据处理应用场景下的动态调度优化,不仅提高了 Hadoop系统的部署效率,也进一步提高了其资源利用率。通过以GlusterFS为基础、基于Hadoop的大数据处理云平台的研究与实现,使得Hadoop系统在存储扩展性、应用场景多样化、部署效率、资源利用率等方面的实践应用中具有更高的使用价值。
其他文献
为提升审计人员素质,提高审计工作质量,更好地履行审计监督职责,近日,信阳市审计局组织全局干部职工进行了党建知识、宏观政策知识、审计业务知识考试。活动中,市审计局高度
扩展自贸试验区试点的目的是为了各个试验区对比经验、互补经验,通过验证各个自贸试验区的差异化战略定位、制度创新以及措施复制可行性,建设更多的开放自贸试验区。四川自贸
对36例正常人及68例心梗患者行心肌显像和心血池显像,以心室造影为金标准,研究诊断LVA的灵敏度和特异性,运动和静息心肌显像诊断LVA的灵敏度为85%和77.3%,特异性均为95.5%,心血池
中华医学会核医学分会于2002年3~12月对2001年12月31日止的全国核医学情况进行了调查.调查的主要内容为4个方面:一般情况(医院等级、科室机构、人员结构、职称、科主任情况等)
为了研究煤直接液化残渣(direct coal liquefaction residue,DCLR)和特立尼达湖沥青(Trinidad lake asphalt,TLA)对沥青与集料黏附性的影响,基于表面自由能理论,以SK-90沥青
在博拉尼的"双向运动"的设想中,"社会"进行自我防卫,是对抗自行其是的市场("自我调节的市场")所强加的统制。本文指出了当前的"时代潮流"在挑战霸权主义的全球化时,在组织和
三探头SPECT仪性能测试和质量控制王道宇余坚芳我们根据西门子公司提供的有关材料,参照IAEA的有关标准,对我院引进的三探头SPECT仪进行了定期质量控制和性能测试。一、材料1均匀性测试用点源
为了评价^99mTc-抗人活化血小板嵌合单克隆抗体(Mc-Ab)SZ-51Hu在血栓放射免疫显橡(RII)中的应用价值,用^99mTc-SZ-51Hu对狗动脉血栓模型进行了RII,并且与^99mTc-标记的原亲本鼠源性McAb-SZ-51显像结果比较。结果表明,注射^99mTc-SZ51Hu后2-4小时血栓显示清晰。