基于HDFS的云存储系统优化研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:lzyrock
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算的飞速发展是近年来国内外一直关注的焦点,其在生活方式及商业模式上都给人们带来了深刻的变化。随着云计算技术的发展,与之而来的云存储系统也得到了相应的发展。在众多的开源云平台中,Hadoop云平台具有高效性、高可靠性、高扩展性等优点,得到了业界广泛的应用。HDFS分布式存储系统(Hadoop Distributed File System)是Hadoop的核心模块之一,具有强大的数据存储能力。因此,本文对HDFS在云存储系统中的优化进行研究。主要工作如下:首先,在分析和研究HDFS原理基础上,针对HDFS存在的副本存储策略问题,提出了一种动态副本存储方案,以提高网络访问速率和存储效率以及优化系统负载均衡能力。其次,通过对原生HDFS以及HDFS Federation系统架构研究分析,设计了一种基于频度访问的系统优化架构,并且根据文件访问公平性,定义出频度阈值,以此制定了一种新的访问规则。通过创建热点缓存服务,用户访问热点数据时会由缓存服务直接发送文件元数据至客户端,以此达到减轻主节点压力并提高访问效率的目的。再次,设计集群网络结构,利用虚拟化技术搭建集群平台,同时采用ganglia分布式集群监测工具对优化前后的HDFS进行测试。对文件模型进行并发访问,分析系统优化前后访问时间对比以及NameNode节点的负载情况,实验结果表明在热点文件的访问时间上,优化后的HDFS有明显的性能优势,NameNode节点平均负载降低,CPU利用率提高。
其他文献
研究背景:膀胱癌是我国泌尿外科临床上最常见的恶性肿瘤之一。目前经尿道膀胱肿瘤切除术(TUR-BT)是非肌层浸润性膀胱癌的主要治疗手段,是临床上治疗非肌层浸润性膀胱癌的金标
本文认为 ,迄今为止 ,在我国的民族工作中 ,“一切从实际出发”、“因地制宜”与“一刀切”的思维方式 ;少数民族地区、少数民族人口的“自力更生精神”与“外来援助”的关系
该文以岭南高校教学建筑的教室空间作为评价单元,试图以环境功能的可适应性解释使用者的环境审美需求心理以及评价主体对特定空间环境要素的审美偏好问题。研究运用心理物理
基于蛋白质和基因表达谱等高通量数据识别与癌症发生和发展相关的差异表达基因是癌症研究的一个重要方面。尽管相关研究已经取得很大的进展,但也发现了这样的问题:同一种癌症
采用植物乳杆菌(Lactobacillus plantarum)固态发酵法生产功能性发酵豆粕,利用其催化葵花籽油中的亚油酸转化为共轭亚油酸(CLA),通过单因素实验,分析了发酵过程中温度,时间,pH,接
耕地资源在国民经济发展中起着重要的基础作用,是社会经济发展的根本和有力保障。我国耕地资源严重不足,由于近年来城市化进程的加速与城镇的急剧扩张,使得城市建设占用耕地
进入新时代,认真学习贯彻落实党的十九大会议精神,深入推进"两学一做"学习教育具有重大意义。高校党员是中共党员队伍中知识水平较高和能力素质较强的一支队伍,有效利用好互
目前已有众多高校在本科学生中开设了学术写作课程,以培育学生论文的写作能力和写作规范,但是因学生知识程度和科研经历有限,其教学过程面临着许多难以克服的困难。借助于对
8月21日,郑州最大的城中村——陈寨开始拆迁,对大多数人而言这只是一条新闻,而对住在这里的近20万"郑漂"而言,选择的时刻到来了:继续漂在郑州,则需要到远离城区的郊区租房,以减
目的研讨内生型剖宫产瘢痕妊娠患者使用甲氨喋呤与宫腔镜治疗的临床价值。方法选择72例内生型剖宫产瘢痕妊娠患者(孕<8周)作为此次课题研究的观察对象,所选患者均于2017年1月