基于HDFS的存储技术的研究

被引量 : 0次 | 上传用户:zhou1225
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储是在云计算模式的基础上产生和发展起来的新概念。随着互联网技术的发展,数据量呈现爆炸式的增长,无论是个人还是企业都面临大量数据管理困难、数据存储维护成本高、可靠性低等问题。云存储概念的出现较好的解决了这些问题,它将网络或计算机集群中大量的各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储服务和业务访问能力。其中,在众多的云计算平台中,Apache软件基金会根据谷歌的云计算设计思想开源实现的Hadoop项目引起了广泛关注。其中的HDFS(Hadoop Distributed File System)是Hadoop的核心组件之一,研究云存储技术,负责系统的数据存储和管理、文件管理及出错处理等基础工作。HDFS具有可靠性高、扩展性强、成本低等优势,它的开源性、高容错性及可以部署在廉价的硬件设备上的特点是其成为云存储研究的热点之一。本论文以HDFS为原型研究云存储技术,根据云存储中数据存储的特点及集群网络中数据节点的异构性等问题讨论HDFS中的改进机制。HDFS认为集群中的节点故障是常态,并提供了故障节点的检测机制,本论文在故障节点检测机制的基础上提出了建立信任模型的概念,对集群中数据节点的安全性和可靠性进行评价,以便主节点完成对数据节点的筛选。另外,云存储中数据的类型多种多样,用途也不尽相同,不同的用户可能对数据节点有着不同的性能要求。本论文提出了一种数据的分类模型,并制定了个各类型数据对节点性能的选择标准。最后,HDFS假设集群中所有的节点是同构的,即集群中所有的节点都有相同的存储性能,这在实际中是很难实现的而且忽略了集群中节点性能动态变化的特点。因此,本论文提出了一种性能评价机制,根据集群中数据节点的各个参数对节点的存储性能给予一个实时的评估值,以便系统选择最优的节点进行数据的存储。最后,本研究在Hadoop平台上对以上三点改进进行了实验验证,并与系统默认方法进行比较证明了本文改进策略的有效性。
其他文献
人口的过度集中和城市土地资源的稀缺使得高层建筑成为城市住宅的主要建筑形式,同时人们对室内空气品质的要求越来越高。厨房作为住宅的重要组成部分,也是室内污染物主要散发源之一。目前,高层住宅厨房排烟主要采用竖向集中排烟系统,该排烟方式存在楼层之间排烟不均匀、串烟串味,底层排烟量不足等问题。本文在国内外相关研究的基础上,采用理论分析、CFD数值模拟计算、实验对比验证相结合的方法,对住宅厨房等截面集中排烟系
本文以无锡某商务会所智能化设计为背景,研制了智能会所监控系统。论文重点研究了基于人脸识别的视频监控子系统,主要包括系统平台的设计、人脸检测和人脸识别三个方面。实验
为研制色泽美观、风味良好、无腥味的即食海带脯,文章探究了干海带在加工成即食海带脯过程中的复水倍数、硬化条件、调味工艺以及杀菌条件,并通过建立响应面优化试验结合感官
2011年7月在社会上引起广泛批评的“方正县为日本人立碑”事件将一个原本并不起眼的小县城带入了大众的视野。此次的“立碑”事件之所以引起了公众的关注,一方面是由于它刺痛
在当今国内和国际市场竞争激烈的情况下,有品牌者可以占有较大的市场份额,获取超额利润。企业要生存和发展必须制定正确的品牌战略,进行现有资源品牌的整合。然而部分企业对品牌
前言 "千年传承、匠心筑梦"。浏阳花炮传承千年,日新月异的背后是一代代技术工艺人员的努力。为倡导持之以恒、不断追求卓越的"匠人之心",鼓励年轻一代继承传统,将浏阳花炮博大精
如今我国车辆数目急剧攀升、路网建设日趋复杂,交通标志信息也随之增多。面对繁杂的交通环境以及可视性不佳的天气影响,设立于路边的交通标志牌越来越不易于驾驶人识别。而道路
恶性梗阻性黄疸是由恶性肿瘤导致胆道梗阻,经皮肝胆道内金属支架植入术已成为解除恶性梗阻性黄疸的主要措施之一。但术后并发症严重影响患者的生活质量及生存期,其中支架再狭
本文针对硕士研究生就业问题的现状,依据班杜拉的自我效能理论,研究硕士研究生择业效能感与就业压力、成就动机、心理健康之间的关系,来探索影响硕士研究生就业的主要心理因
贺兰山东麓地区是我国最佳酿酒葡萄生态区之一,至2013年已建成葡萄基地51万亩,葡萄酒年生产能力10万t。近年来,随着葡萄种植面积的扩大和种植年限的增加,因病害防治不力等造