【摘 要】
:
近年来随着大数据的被大量应用到社会生活中,导致无论是在数据量上还是在数据类型上都呈现了一种爆炸性的增长,从而使得在对数据分析时需要有更高的存储能力,因此,作为在云计
论文部分内容阅读
近年来随着大数据的被大量应用到社会生活中,导致无论是在数据量上还是在数据类型上都呈现了一种爆炸性的增长,从而使得在对数据分析时需要有更高的存储能力,因此,作为在云计算概念上延伸和发展出来的大数据处理技术,业已成为炙手可热的研究方向。而Hadoop平台作为当前应用最广的云计算大数据处理平台,其在面对海量小文件处理时,则由于先天的设计因素,在直接应用时存在着处理效率低下的问题。针对Hadoop平台下海量小文件的处理效率低下的问题,本文结合实际工程部署情况,主要从下面三个方面进行分析优化:首先,在集群的底层架构方面,通过分析比较传统虚拟化技术与容器技术在处理性能方面的差异,使用更好的Hadoop平台的底层架构方案,即不使用传统的虚拟机架构方案,而采用容器作为底层的部署环境来搭建Hadoop平台,从而提高Hadoop平台下各应用的数据处理能力;在文件存储方面,基于Hadoop平台下现有的HDFS,采用分类汇总的基本思想,结合实际情况来寻找合适的方案来提高Hadoop平台对于海量小文件的存储效率;在数据处理层面上,结合Hadoop生态系统中的新的计算框架,即使用基于内存的计算模型来提高数据处理海量小文件的效率。本文通过构建各项测试平台,结合实验数据说明了在Hadoop平台下海量小文件的优化处理方案。
其他文献
本文介绍了一种井下主排水泵的远程在线监测系统设计方案,主要包括排水系统的控制方案、水泵远程控制系统方案、可编程控制器选型及其特点。实际应用表明,该系统运行可靠,提
<正>短距离无线技术的一项重要发展趋势是设备采用超低功耗(ULP)2.4GHz无线连接实现快速更新换代。上述无线连接包括蓝牙低功耗(最新蓝牙无线技术规范蓝牙v4.0的一项标志性特
本文立足于当前我国反洗钱工作实际和洗钱犯罪在中国的特点,介绍、归纳了三类欧美国家反洗钱监管模式的典型,深入分析了其各自的形成条件和建构基础,从五个方面比较了欧美国
<正> 随着航空电子综合系统的迅速发展,使目前飞机上的电子设备都属于某种系统之中,因此航空电子设备的结构设计首先要从整个系统的结构设计考虑,即系统中各种功能电子设备的
在全军食品卫生调研和实验研究的基础上 ,参照国家食品卫生法及国内外有关资料 ,结合我军多年来对食品卫生工作中的管理经验 ,编制了切合我军实际的《军队食品采购、运输、储
能源是经济社会发展的动力。当今世界,能源短缺,给经济发展造成了很多制约因素。燃料乙醇被称为不会增加碳排放的清洁能源,取之不尽、用之不竭的可再生能源,已成为发达国家竞
GPS定位技术是一种最直接、最经济、最可靠和最成熟的技术。借助GIS技术,可得到车辆在三维空间中的运动轨迹,不但可准确获得车辆的准确位置,还可得到车辆的速度、运动方向等
随着新会计制度的出台及实施,企业、政府及高校的财务工作都面临着新的挑战与改变,传统的财务管理模式已经不能满足当前经济发展的实际需求,因此,财务部门亟待采取新的财务管
作为中国沿海14个开放城市之一的南通市,出口贸易发展较早,现已跻身全国大中城市对外贸易总量25强行列。但是,依据2010年广交会上发布的《后危机时代中国外贸发展战略》所构
文章对鄂尔多斯市糜子基本概况做了分析,在此基础上对发展糜子产业的必要性进行了分析,最后对如何发展糜子产业提出了相关的政策建议。