基于HDFS的小文件存取优化研究

来源 :人文之友 | 被引量 : 0次 | 上传用户:xukaiboy123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着我国经济的发展和科技的进步,Hadoop云计算平台发展越来越成熟,通过可靠、高效的特性在互联网的应用越来越广泛,如:Facebook公司应用了Hadoop,促进了公司成功和发展.而HDFS作为Hadoop小文件存取系统,提高了文件存取的安全性和高效性,推动了Hadoop云计算平台的进步.但是由于HDFS系统的设计主要是针对大文件的存取与计算,所以HDFS系统却忽略了小文件的存取优化,当海量的小文件进行存储时,会产生大量的元数据,从而占用了Name Node大量的内存,影响了系统的存储效率和安全性能.如果大量的小文件一起访问时,会对HDFS中的Name Node和Data Node造成巨大的负荷压力,可能会直接导致系统的崩溃,所以,HDFS不适合大量小文件的存取.本文通过描述HDFS在存取小文件时出现的问题,从而提出针对性发展意见,优化和研究HDFS的小文件存取,促进HDFS系统的发展和进步.
其他文献
当前啦啦操作为一个新兴项目在我国多面开花,但是教练员在啦啦操的训练与组建上,更重视技术水平的提高,却忽视了团队合作培养,本研究采用文献资料法,分析了影响啦啦操训练团
目的:研究热休克蛋白90 α(HSP90 α)、基质金属蛋白酶-2(删P-2)和Survivin在食管鳞癌中蛋白表达,分析三种蛋白表达的相关性及其与患者临床病理特征之间的关系。 方法:采用免
[目的]  探讨新一代铂类药物-奈达铂对鼻咽癌细胞凋亡、增殖的影响。鼻咽癌细胞凋亡相关蛋白P53、Bcl-2、caspase家族在奈达铂诱导下蛋白表达水平的变化。  [方法]  1.
5S管理起源于日本,发展于美国,广泛应用于欧美等国大型企业,它作为现场管理的有效工具已经受到世界各国企业的广泛关注和认同。5S管理是塑造企业形象、提升企业生产效率和改
给出一种基于昆虫毛状感触器的微型仿生传感器,用以测量低速气体流动.分析昆虫毛状感触器和这种微型仿生传感器的工作机理.采用ANSYS的多场耦合模型进行模拟以充分考虑到固体
计算机科学技术广泛应用于社会各个领域,其每一次进步都会加快网络技术、集成电路技术、材料科学、软件工程、光导纤维技术和超导技术的发展,这些技术的发展又会推动计算机科
在汽车使用过程中可能会出现一定的故障,但是汽车发动机故障相比其他故障而言较为严重,本文主要针对发动机无法启动、冷车启动困难、热气启动困难等故障进行分析和响应维修方
材料成型与控制工程主要研究的是如何改变材料的结构、提高材料的性能和改变表面形状,研究材料在热加工的过程中受到其它相关工艺因素的影响,是综合材料到产品设计开发一直到
随着市场竞争力日益加剧,模具的制造水平已成为衡量制造业水平高低的重要标志.笔者通过多年实践经验积累,对冲压磨具的现状以及发展趋势进行了简要的分析,以期可以为大家提供
本文通过对荣华二采区10