基于HDFS的小文件存储与读取优化策略

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户：zhang_yingliang

【摘要】

：

本文对HDFS分布式文件系统进行了深入的研究，在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低．本文针对这个问题提出了一个基于关系数据库的小文件

【作者】

：

张海马建红

【机构】

：

河北工业大学计算机科学与软件学院天津300401

【出处】

：

计算机系统应用

【发表日期】

：

2014年5期

【关键词】

：

HDFS 小文件优化文件合并负载均衡云存储 HDFS optimization of small files merge files load balan

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

本文对HDFS分布式文件系统进行了深入的研究，在HDFS中以流式的方式访问大文件时效率很高但是对海量小文件的存取效率比较低．本文针对这个问题提出了一个基于关系数据库的小文件合并策略，首先为每个用户建立一个用户文件，其次当用户上传小文件时把文件的元数据信息存入到关系数据库中并将文件追加写入到用户文件中，最后用户读取小文件时通过元数据信息直接以流式方式进行读取．此外当用户读取小于一个文件块大小的文件时还采取了数据节点负载均衡策略，直接由存储数据的DataNode传送给客户端从而减轻主服务器压力提高文件传送效率

其他文献

高职院校“00后”大学生入学适应性问题分析及对策探究

随着时代的不断发展,“00后”们逐渐进入了大学校园,学习环境的适应、集体生活的融合对于这些曾经被媒体称作“ 千禧宝宝”的“00后”来说,是一个不小的挑战。本文就高职院校

期刊

“00后”适应性问题对策探究

基于拆分存储模式的题库系统

通过比较分析现有题库系统的存储模式，提出拆分存储模式，即将试题参数拆分为试题公共基础部分和题型专有部分．基于该模式采用面向对象的方法，设计实现了题库系统的试题管理和组卷

期刊

拆分存储题库组卷算法split storage mode item bank combining algorithmic

站起来看一看

宝宝，这些积木是什么形状的呢？站起来，看到的又会是什么形状呢？左边的积木和右边的俯视图是一一对应的哦，快将它们用线连起来吧！　　加点料　　1.扫一扫二维码，欣赏《不同角度造成的错觉》。　　2.如宝宝觉得有难度，爸爸妈妈可用相同形状的积木让宝宝体验俯视图的形状。　　3.爸爸妈妈可经常让宝宝在不同角度观察物體，了解角度不同，同一物体呈现的形状也有不同。

期刊

一一对应形状积木宝宝

农村能源建设对农业生态环境的影响

可持续发展我国社会经济建设和发展的必由之路,良好的农业生态环境是农业可持续发展的基础。本文以农业生态环境对农村经济生产和建设的影响为基础,剖析不同能源技术在保护农

期刊

农村能源建设农业生态环境

牛轧糖,来一块？

宝宝,午睡起床后,跟我一起学做一个简单美味的小点心,为自己添一道下午茶吧!

期刊

初等教育手工课制作方法材料

复合图书馆与读者服务的创新

阐述了复合图书馆读者服务的新特点,从服务理念、文献资源建设、读者信息素养等方面探讨了复合图书馆读者服务创新的途径。