【摘 要】
:
Hadoop MapReduce和Apache Spark都适用在大型集群上以并行和分布式模式有效地处理大量数据。为了比较这两个框架的性能,作者使用HiBench基准套件基于执行时间和内存消耗两个
【机 构】
:
国家林业和草原局林产工业规划设计院
论文部分内容阅读
Hadoop MapReduce和Apache Spark都适用在大型集群上以并行和分布式模式有效地处理大量数据。为了比较这两个框架的性能,作者使用HiBench基准套件基于执行时间和内存消耗两个标准进行测试。测试结果表明,这些框架的性能根据用例实现的不同而有很大差异。从而可以得出结论:在一般情况下,Spark能够比Hadoop更有效地处理大量数据。但是,因为Spark要将待处理数据加载到内存中,并在缓存中保留一段时间,所以Spark需要更高的内存占用。
其他文献
目的:为我国卫生事业的发展中卫生总费用指标的评价提供参考。方法:选用国内外通用性更好的卫生总费用占GDP比重、广义政府卫生支出占GDP比重两个卫生费用指标,以及出生时的
聚乙烯 octene 弹性体(POE ) 作为影响修饰词被合并到木头 / 聚丙烯 composites (世界和平理事会) 提高影响力量合成。二渗出线路,即直接渗出线路;二阶段的渗出线路,被采用生产
2019年8月12日,三星电子宣布将开始批量生产移动用图像传感器108MP ISOCELL Bright HMX,该产品超过1亿像素,比三星电子5月公开的产品(6400万像素)高出1.6倍,达到移动用图像传
目前,我国水资源非常短缺问题日益突出,有必要在耗水量较大的农业生产中推广节水技术。毛管带技术在设施园艺栽培中也发挥了极为关键的作用,显著节约了农业资源,属于环境友好
欧姆龙全新研发的E2E NEXT系列接近传感器拥有超长检测距离,即使因装置的老化和振动与检测物体的距离发生变化也不会与接近传感器发生碰撞,设备可稳定运行。E2E NEXT系列接近
随着以太网技术逐渐走向成熟,列车上的实时以太网的应用需求日渐增加,尤其是近几年发展迅速的高速列车组。其对以太网通信以及实时性要求越来越高。随着国际电工委员会将以太
市场从隐约出现到大兴于世,几乎贯穿于整个经济史,并在每个不同的历史阶段物化表现出不同的形式和内容。究其本质,市场从其诞生之时就没有离开过交换。交换的发生,表明了市场
利用数字图像处理技术高效地处理遥感图像是提高我国农业信息处理、无人机、自然地理测绘等领域水平的重要手段。本文首先简述了数字图像处理技术的概念,进而按照场景分类介
20世纪中期,美国洛杉矶光化学烟雾事件之后,研究人员开始量化空气污染对健康的影响。1993年,为研究空气污染与儿童肺部发育的关系,研究人员对加利福尼亚州南部12个地区的四年
2015年6月,柳叶刀的一篇题为“Rearming public and global health in Germany”的文章指出,德国在公共卫生和全球卫生方面并没有充分发挥其应有的作用。该文章指出,过去几十年