【摘 要】
:
信息科技发展导致大规模数据存储变得更平常。并且数据需要长期保存,同时数据规模在不断增长。而传统的文件系统在存储空间和存储速度、安全上达不到大量数据保存处理的要求。
论文部分内容阅读
信息科技发展导致大规模数据存储变得更平常。并且数据需要长期保存,同时数据规模在不断增长。而传统的文件系统在存储空间和存储速度、安全上达不到大量数据保存处理的要求。分布式文件系统能够存储海量数据的,是大规模数据存储的重要技术手段。而近年Hadoop作为一种存储和处理大规模数据的解决方案,受到国内外各大公司的热捧。Hadoop分布式文件系统是Hadoop的两大核心之一,可以作为大规模数据存储的解决方案。对基于HDFS的分布式存储进行相关研究,主要包括HDFS集群中小文件处理、副本存放策略和机架感知以及NameNode备份恢复机制和扩展机制。HDFS集群中小文件处理包括三种方案,分别是Hadoop Archive、 Sequence File和CombineFileInputFormat。副本存放策略和机架感知能够让NameNode获取DataNode的网络拓扑图,然后根据DataNode之间的关系来确定副本存放的位置,保证数据可靠性的同时兼顾了数据传输效率。NameNode备份恢复机制通过定期对NameNode中元数据信息备份合并形成新的检查点checkpoint保证NameNode元数据的安全。如果NameNode出现宕机故障,可以节省NameNode重启时间,甚至恢复丢失的数据。HDFS的可扩展性体现在动态新增DataNode,能够满足大规模数据增长的需求。最后基于HDFS集群进行相关应用,并比较HDFS集群与FTP文件传输效率,反映HDFS作为大规模数据存储的解决方案的可行性。
其他文献
阅读教学就是让学生借助文本,理解和体验文本的价值;借助文字的阅读,积累语文知识,训练语文技能提升人文素养。阅读是完成语文教学任务的重要手段,是培养学生全面发展不可缺少的途
目的:了解呼吸机相关性肺炎的预防与护理措施及效果。方法:选取收治的78例呼吸机相关性肺炎患者的临床资料,综合患者具体情况,均予以有效的预见性护理措施,观察护理后临床效
近几年来,“微博控”成为网络热门词汇,微博的火爆发展及其广泛影响可谓掀起了140个字符的革命。随着国内新浪微博、腾讯微博等微博系统的快速发展,微博打拐、7-23动车事故、微
为保证薄膜晶体管液晶显示器(TFT-LCD)产品装配质量,针对TFT-LCD结构特点及所用液晶材料,介绍一种日本某公司的TFT-LCD组装工艺与测试技术。研究并确定TFT-LCD组装工艺流程、
作为英语教师,如何激发和培养高职学生英语学习的兴趣是教学中一个尤为重要的部分。旨在对如何培养和激发学生英语学习的兴趣做出的几点思考,以抛砖引玉,并得到同仁指教。
科学预测我国纸消费量对指导行业发展规划,促进造纸工业有序、有条、有效发展,更好满足人们日益增长的对纸的需求具有重要意义.将灰色预测方法与马尔科夫理论结合,能有效提高预测
管理层激励机制是公司为了使高层管理人员与股东利益趋于一致性进行的一种安排,主要是为降低代理成本,提高经营效率。其与公司的经营业绩的关系,是国内外学者研究的热点问题。上
背景随着人口老龄化的加剧,脑梗死导致的危害越来越严重,给很多家庭和社会造成了极大的负担。虽然多数脑梗死危险因素是已知且可干预的,但目前仍有一些潜在的危险因素尚未得到解释,因而有必要进一步探究这些潜在危险因素,以便更好的预防脑梗死的发生。动脉粥样硬化(Atherosclerosis,AS)作为脑梗死的重要病因,目前已有很多证据表明,AS是一个慢性炎症过程,有多种炎症细胞和炎症介质参与这个过程。颈动脉
微型博客作为Web2.0时代互联网最广泛的应用之一,具有分散性、多样性、时效性和信息量庞大等特点。为了从大量的、分散的信息中,获取用户感兴趣的话题及相关信息,并实时推送给用
武汉太和服饰有限公司是湖北省的著名女装企业,是汉派服装的代表品牌。随着国外品牌的纷纷涌入和国内同行的竞争加剧,近几年太和服饰的增长率大幅放缓,太和服饰需要以模式创新来