Hadoop云存储策略的研究与优化

被引量 : 13次 | 上传用户:wutongyu520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的发展以及被业界所逐渐接受,与之相随的云存储系统也得到相应的发展,越来越多的企业和科研机构开始使用云平台构建各自的云存储体系,而在众多云平台中,开源实现的Hadoop云平台得到了业界广泛的应用,包括Yahoo、Facebook以及IBM等。Hadoop云平台对数据的存储主要是由其分布式文件系统HDFS实现的,因此对于HDFS的研究成为了很多公司构建各自云存储系统的基础。HDFS系统默认的存储策略虽然可以有效的解决大数据的存储但是在现实应用中却存在一些不足,在默认的HDFS存储策略中,数据节点的状态信息不够完善以及随机选择数据节点,使得控制节点在选择数据节点存储的时候容易出现系统负载不均衡,另外当随机选择远端节点进行存储的时候可能会造成因为节点之间网络距离较远而造成数据传输时间过长损耗系统性能的现象,同时由于HDFS默认存储策略采用了固定的数据副本个数,在实际应用中可能会导致系统中数据冗余太多,影响系统的负载能力。因此解决了上述问题,就可以在一定程度上提高HDFS系统的存储性能。所以,本文在分析HDFS默认策略的不足之后,基于HDFS设计一种优化的存储策略。该策略首先对数据节点的状态信息进行完善,为控制节点在选择数据节点进行数据存储的时候提供了更多的依据。其次,该策略可以根据用户的实际需求设置数据副本系数。再次,在随机选择数据节点时采用了评价值方法,即根据节点的负载情况以及与本地节点的网络距离计算该节点的评价值。最后通过将优化后的策略部署到仿真实验平台上,验证了该策略的可行性以及测试了该策略的效率。实验证明,优化后的策略确实能够提高系统的存储性能,有效的平衡了节点之间的负载,减少了系统瓶颈出现的可能性,同时加强了用户体验。HDFS分布式文件系统运行在Hadoop云平台上,优化的存储策略可以实际应用到企业和科研机构的云数据中心,同时因为该策略具有较高的可配置性,在实际应用中可以根据不同的需求来进行配置,从而有效地提高海量数据的存储性能。
其他文献
我国社会保障体系尚不完善,完善城乡社会保障体系的对策建议是:加快推进城乡、地区之间社会保障的衔接机制;妥善解决社会统筹资金截留问题;改革户籍制度;加快信息化建设;加快社会保
介绍了短链氯化石蜡(SCCPs)提取中萃取剂的种类、用量、萃取方式和净化方式的研究现状,并对SCCPs提取和净化方式进行展望,认为纺织领域发展和完善规范的SCCPs分析检验方法利
从二十世纪中叶开始,现代性问题因日益对人类社会发展有着不可忽视的影响而日趋变得热议。所谓现代性意指现代社会、文化、政治、经济所形成的一系列有别于古代社会的存在特质
以生态经济学和社会学理论为基础,运用理论思辩和质的研究方法,研究了民族地区的生态移民效应问题。通过对阿拉善孪井滩的实证研究表明,阿拉善移民取得了保护生态、反贫困、促进
研究“一带一路”背景下地方综合性大学创新创业培养管理服务质量满意度,探讨“一带一路”背景下地方综合性大学创新创业培养管理服务质量满意度的概念、理论基础、测评方法
基于对不同季节喀斯特山地草地植被多样性和土壤生境的调查数据,采用Pearson相关系数法和主成分分析法研究土壤养分季节动态及其对植被的响应。结果表明:喀斯特山地草地植被多
论文从萃取-精馏-吸附等单元操作的角度,研究了从合成革废水中回收N,N-二甲基甲酰胺的工艺。选择以三氯甲烷为萃取剂,以溶剂:废水=2:1时,用错流萃取的方法进行萃取。实验表明:实
自上世纪八十年代初的IT企业分销业务模式发展兴起至今,IT渠道分销业务在中国大陆市场已经走过了超过30年的历史。IT作为一个技术含量较高的高科技新型产业在政府倡导科技引
随着道路交通量的增长,路网密度的增强,人民群众对交通信号控制的要求变得越来越高,以一条干道甚至一个区域作为研究对象的信号协调控制方法也越来越受到重视,如何对通过交通信号
“水彩”一个听上去都极其浪漫的绘画名称,表现出来的画面当然也是栩栩如生,正所谓画如其名,它的表现形式也如同它的名字一个唯美优雅。水的柔情,彩的绚丽,就在水与彩碰撞的一刹那