基于Hadoop的小文件存储优化方案

来源 :电子科技大学学报 | 被引量 : 0次 | 上传用户:ffg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。
其他文献
随着我国各种桥梁工程日益增多,桥区安全通航事故时有发生,目前对于桥梁工程船撞风险主要集中在桥梁营运期,而桥梁工程施工期的船撞风险却基本没有涉及研究。因此,文中以内河
新疆是少数民族最多的一个自治区,同样也是非物质文化遗产最多的一个地区之一。作为非物质文化遗产多种价值中最重要的经济价值,本应该为新疆经济的发展做出一定的贡献,然而
<正>随着互联网技术的推广,社交网络生态的日益成熟,众多共享平台如雨后春笋般涌现,共享经济正以摧古拉朽之势成为时下热点。目前,共享经济的商业模式已广泛渗入了从消费到生
天然橡胶是四大工业原料中唯一的可再生资源,由炭疽病菌侵染引起的橡胶树炭疽病是当前我国橡胶生产上最为严重的两大叶部病害之一。本研究通过对海南省主栽橡胶树品种(系)炭疽病发生流行情况进行联合调查与监测;对36份核心橡胶种质进行抗炭疽病评价;对海南新发炭疽病菌进行鉴定和抗药性评价;熟化橡胶苗圃炭疽病无人机防治技术,得出以下主要研究结果:本研究联合海南天然橡胶产业集团股份有限公司对PR107、RRIM60
综述了本科护生专业自我概念与专业适应性研究现状,主要包括专业自我概念及专业适应性的概念,本科护生专业自我概念和本科护生专业适应性的国内外研究现状,主要研究工具。认
<正> 苏东坡在《寓简》卷八中谈到自己的读书方法:‘卑意欲少年为学者,每一书皆作数过读之。书之富如入海,百货皆有,人之精力,不能尽取,但得其所求者耳。故意学者,每次做一意
期刊
人力资本对于促进战略性新兴产业发展具有重要作用,本文提出,应通过完善财政教育经费投入、科技投入和税收优惠等政策提升战略性新兴产业人力资本的投入。
洛阳隋唐遗址植物园梅园是该园"二十八园"之一。利用现代公共空间的设计手法,师法自然又高于自然,力求在设计中通过对我国梅文化的着力诠释,体现出中国传统山水园林的精神风
建立科学规范的税式支出制度已列入我国财税制度改革的总体规划。为加强对税式支出的管理监督,必须对税式支出的适度规模和效益问题进行分析,保证税式支出符合经济发展和政府
遥感图像空间分辨率低,如何更好地提取图像特征成为提升分类性能的关键。文章提出了一种基于密集卷积网络(DenseNets)的遥感图像分类方法,针对遥感图像样本少,采用迁移学习方法