基于HDFS的海量文件存储优化设计

来源 :电脑编程技巧与维护 | 被引量 : 1次 | 上传用户：zstzst

【摘要】

：

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS)。该方案采用了分类处理的设计思想,区别对待大文件和小文件。对大文件不做任何处理,按照HDFS原有

【作者】

：

李娜

【机构】

：

陕西学前师范学院计算机与电子信息系

【出处】

：

电脑编程技巧与维护

【发表日期】

：

2016年06期

【关键词】

：

HDFS技术海量数据 HADOOP分布式文件系统

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

集美大桥锁口式钢套箱围堰设计与施工

锁口式套箱围堰结合了整拼式套箱围堰和钢板桩的优点,有很高的应用价值。以集美大桥为例,介绍了海上锁口式钢套箱围堰设计及施工工艺,解决了潮涨潮落浅滩处承台拆除难题;通过

期刊

桥梁施工混凝土锁口式钢套箱围堰止水性能

卫星导航定位P码直接捕获算法研究

如何提高卫星导航定位P码的捕获速度和精度是军用接收技术研究的热点问题之一。在GPS P码扩展复制重叠(XFAST)捕获算法和均值捕获算法的基础上,提出一种基于时频融合的捕获算

期刊

卫星导航全球定位系统捕获扩展复制重叠均值法时频融合

略论'直接适用的法'--以立法与司法实践为视角

“直接适用的法”是当今国际私法中一个新的理论问题，产生了不可低估的影响。目前，许多国际组织在起草国际公约、许多国家在制订其国际私法立法时，已越来越多地出现了体现“法律

期刊

立法直接适用的法司法实践

对4×100米接力跑传接棒技术的分析

<正> 一、前言接力跑是由短跑和传、接棒组成集体配合的径赛项目。而4×100米接力跑是接力项目中速度最快,对传接棒技术要求最高的项目。男子4×100米接力跑于1912年被正式

期刊

传接棒技术世界纪录接力跑百米成绩

坚定不移走绿色生态发展之路全力打造青田经济升级版

生态与发展，两者之间并非截然矛盾，完全可以相互促进、相得益彰，关键在于走一条什么样的发展道路。市委三届六次全会作出走绿色生态发展之路的战略部署，为全市指明了方向，这是新常

报纸

党建扶贫研究述评(1995-2018年)——中国知网“党建扶贫”主题文献统计分析

1995-2018年,中国知网共刊载"党建扶贫"主题文献280篇,其中2013年起为研究热潮。文献中党建扶贫的理论研究多于实证研究,研究主要包括对现有党建扶贫模式的总结和提炼,探讨党

期刊

党建扶贫党的建设精准扶贫

岩体结构控制下的边坡稳定性多因素敏感性分析

结合某水库边坡工程,根据坝址区主要Ⅱ级结构面的发育特征,通过地质分析表明对岩质边坡稳定性起控制作用的两个结构面是断层F11和断层带F6,7,8。基于正交试验设计理论建立了

期刊

结构面正交试验边坡稳定性敏感性分析

都市密集区市际关系协调的国际经验借鉴和制度创新

处理好市际关系,是都市密集区健康发展的必然要求。美国、日本、英国等发达国家在市际关系协调方面的丰富经验和成熟的市际关系协调机制,为中国都市密集区发展提供了重要借鉴

期刊

都市密集区市际关系制度创新

铁路桥梁深基坑施工围护设计

新建沪宁城际铁路某桥桥墩承台埋深较大,地下水位高,为保证承台基坑安全,经比选采用钻孔桩结合高压旋喷桩的围护方案,并对该方案中围护结构的内力、变形及整体稳定性、抗管涌

期刊

深基坑承台围护钻孔桩旋喷桩设计验算

无线信道马尔科夫链模型的仿真技术

信道建模的准确性关系到无线通信系统计算机仿真分析的精确度,是通信专业的一项基础性工作。在之前两态马尔科夫链模拟信道的基础上,尝试利用三态和多态马尔科夫链进一步精准

期刊

无线信道马尔科夫链MATLAB语言仿真实现

基于HDFS的海量文件存储优化设计

与本文相关的学术论文