基于HDFS的海量文件存储优化设计

来源 :电脑编程技巧与维护 | 被引量 : 1次 | 上传用户:zstzst
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在存储海量数据时对小文件支持性能低下的问题,提出了基于HDFS的通用文件存储系统(Common File Storage-Hadoop Distributed File System,CFSHDFS)。该方案采用了分类处理的设计思想,区别对待大文件和小文件。对大文件不做任何处理,按照HDFS原有的流程完成既定的操作;对小文件的存取,经过缓存、预读、合并等机制的处理,从而在提高Namenode内存利
其他文献
锁口式套箱围堰结合了整拼式套箱围堰和钢板桩的优点,有很高的应用价值。以集美大桥为例,介绍了海上锁口式钢套箱围堰设计及施工工艺,解决了潮涨潮落浅滩处承台拆除难题;通过
如何提高卫星导航定位P码的捕获速度和精度是军用接收技术研究的热点问题之一。在GPS P码扩展复制重叠(XFAST)捕获算法和均值捕获算法的基础上,提出一种基于时频融合的捕获算
“直接适用的法”是当今国际私法中一个新的理论问题,产生了不可低估的影响。目前,许多国际组织在起草国际公约、许多国家在制订其国际私法立法时,已越来越多地出现了体现“法律
<正> 一、前言 接力跑是由短跑和传、接棒组成集体配合的径赛项目。而4×100米接力跑是接力项目中速度最快,对传接棒技术要求最高的项目。男子4×100米接力跑于1912年被正式
生态与发展,两者之间并非截然矛盾,完全可以相互促进、相得益彰,关键在于走一条什么样的发展道路。市委三届六次全会作出走绿色生态发展之路的战略部署,为全市指明了方向,这是新常
报纸
1995-2018年,中国知网共刊载"党建扶贫"主题文献280篇,其中2013年起为研究热潮。文献中党建扶贫的理论研究多于实证研究,研究主要包括对现有党建扶贫模式的总结和提炼,探讨党
结合某水库边坡工程,根据坝址区主要Ⅱ级结构面的发育特征,通过地质分析表明对岩质边坡稳定性起控制作用的两个结构面是断层F11和断层带F6,7,8。基于正交试验设计理论建立了
处理好市际关系,是都市密集区健康发展的必然要求。美国、日本、英国等发达国家在市际关系协调方面的丰富经验和成熟的市际关系协调机制,为中国都市密集区发展提供了重要借鉴
新建沪宁城际铁路某桥桥墩承台埋深较大,地下水位高,为保证承台基坑安全,经比选采用钻孔桩结合高压旋喷桩的围护方案,并对该方案中围护结构的内力、变形及整体稳定性、抗管涌
信道建模的准确性关系到无线通信系统计算机仿真分析的精确度,是通信专业的一项基础性工作。在之前两态马尔科夫链模拟信道的基础上,尝试利用三态和多态马尔科夫链进一步精准