【摘 要】
:
HDFS (Hadoop Distributed File System)是Hadoop的分布式文件系统。Hadoop0.20.203版本中,HDFS采用主从架构,主要由一个Namenode,一个SecondaryNamenode及其众多的Datanode
论文部分内容阅读
HDFS (Hadoop Distributed File System)是Hadoop的分布式文件系统。Hadoop0.20.203版本中,HDFS采用主从架构,主要由一个Namenode,一个SecondaryNamenode及其众多的Datanode构成。Namenode作为HDFS的单一主服务器节点,存在单点失效,性能瓶颈,不易扩展等缺点。同时,HDFS的设计思想主要是通过一些廉价的主机和服务器构建一个分布式的文件存储集群,硬件失效是常态。针对本系统存在的问题,本文主要进行了如下几方面的工作:1.介绍了HDFS的基本概念,对HDFS的发展历程,存在的问题,研究现状进行了综述;2.详细介绍HDFS的系统组件,包括Namenode和Datanode。对元数据,数据的组织和交互以及数据维护方面进行了深入的研究;3.提出了一种新的分布式Namenode节点集群方案。Namenode分布式方案主要是将原先Namenode节点的功能进行重新分配。其中Namenode1集群主要用来处理客户端的请求和管理Datanode节点的状态,;Namenode2集群主要用来管理并持久化元数据信息以及维护数据节点与数据块映射信息。Leader节点主要是转发客户端的请求及其监控整个集群运行状态,同时返回响应结果。对DRBD, Pacemaker等组件进行了深入的研究。认真分析了已经存在的系统的不足。同时,对单节点Namenode进行Linux HA的部署验证;4.介绍了分布式系统常用的数据冗余技术。详细研究了HDFS的数据冗余机制,并且对其进行实验验证。同时,深入研究了数据冗余机制对数据交互以及负载均衡的影响。5.总结全文,提出一些有待改进的方面。
其他文献
投资活动是企业生存与发展的一个重要途径,它的主要目标是帮助企业创造最大的经济利益。但企业在投资的过程中会面临各式各样的税收支出,无疑会增加了企业的税收成本。为了获
国美电器是我国著名的以经营各类家用电器为主的家电零售连锁家族企业,并于2004年在香港成功上市。2010年国美电器爆发了著名的控制权之争,创始人黄光裕与职业经理人陈晓之间
随着媒体技术的不断发展,新媒体逐渐被引进农业信息传播,成为促进我国农业信息化发展的重要举措。由于我国农村地区特定的自然环境、社会经济以及农民创新观念等因素的影响与
国民之魂,文以化之;国家之神,文以铸之。文化消费以其对特有的文化属性与经济属性的融合而愈来愈受到国家和地方的重视。国内许多文化消费发达省市已经将文化产业提升到一个战略
目的探讨冠状动脉瘘介入治疗的临床指征及方法。方法总结经导管介入治疗(介入组)冠状动脉瘘17例,其中应用Cook公司非可控弹簧圈11例,可控弹簧圈2例;Pfm可控弹簧圈1例,AGA公司
50年的学雷锋运动此起彼伏,有高潮也有沉寂。本文从一个现象出发,试图揭示隐藏在2012年学雷锋高潮背后的历史脉络和制度逻辑:学雷锋运动是如何兴起的,在50年的发展历程中它有
高脂诱导的胰岛素抵抗(insulin resistance,IR)会导致肝脏出现糖原合成减少,肝糖输出增加和肝糖异生作用增强,导致外周血糖升高,诱发2型糖尿病(T2DM)。对胰岛素受体后PI3K/Ak
报道8例副神经节瘤,并1258例文献报道的副神经节瘤复习.着重讨论了副神经节起源肿瘤临床、病理改变与生物学行为的关系.发现副神经节瘤发生部位、体积大小不同,其生物学行为
<正> 在皮肤护理过程中,仅仅依靠美容师的徒手操作是不够的。因此,需要经常借助各种美容电疗仪器,以弥补徒手操作的不足,常用的美容仪器有: 一、皮肤测试仪皮肤测试仪是用于
合作思想最初始于16世纪初的早期空想社会主义思想,至1844年,罗虚代尔公平先锋社的诞生,将合作思想和合作运动引入一个全新的发展阶段。马克思、恩格斯在对空想社会主义合作