基于Hadoop的海量小文件存储方法的研究

来源 :数字技术与应用 | 被引量 : 0次 | 上传用户:zoeshuwen88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长。Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意。本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案。
其他文献
本文介绍了降膜蒸发器结构、特点和蒸发原理。详细对降膜蒸发器的各种分布器进行了介绍。本文将重点介绍一种用于热敏物质的降膜蒸发器的分离式分布器,供同行参考。希望对同
期刊
10月22日,工信部新闻发言人黄利斌在国新办新闻发布会上表示,目前国内新能源汽车全产业链投资累计超过了2万亿元,日益成为经济发展的新动能。成交量连续5年位居全球第一,累计
当有的海归还在单枪匹马努力克服回国创业“水土不服”的时候,海归朱沁和他的创业团队已渐入佳境,
目的经皮肾镜碎石(PCNL)与经尿道输尿管镜碎石(URL)对输尿管上段嵌顿性结石疗效优缺点的比较。方法回顾性研究2004年1月至2008年7月应用两种方式对104例输尿管上段结石疗效比较。
意大利有一家公司,派人去讨要30万元债款,公司作出规定,只要其中的20万,剩下10万奖励给讨债人,去了很多人,都无功而返。但最后一名叫托尼的普通员工却要回了债款。原来,别人都要30万
目的探讨治疗粘连性肠梗阻的改良方法。方法应用置硅胶管内支撑小肠排列术治疗广泛粘连性肠梗阻30例。结果随访27例1-9年,无梗阻复发。结论应用置硅胶管内支撑小肠排列术治疗
随着无线射频技术在物联网建设中的广泛应用,无线射频抗金属表面干扰是实际应用中一个难以回避的课题,本文以烟草物联网电子件烟箱为研究对象,提出无线射频抗金属表面干扰的有效解决方案及相关独创工艺技术,成功研制出的电子件烟箱已广泛应用于烟草物联网建设的实践中。
全面从严治党思想是党的十八大以来党中央作出的重大战略部署,是“四个全面”战略布局的重要任务,也是全面建成小康社会、全面深化改革、全面依法治国的根本保证。习近平的全
宝应县地处江苏省中部,是美丽的扬州后花园、北大门,素有“宝地”之称。境内湖荡密布,绿树成荫。假如你喜欢在大片的杉林湿地中徜徉,喜欢在碧波荡漾湖面上乘风破浪,喜欢在一望无际