基于Spark的大数据混合计算模型

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:woyuxiandai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现实世界大数据应用复杂多样,可能会同时包含不同特征的数据和计算,在这种情况下单一的计算模式多半难以满足整个应用的需求,因此需要考虑不同计算模式的混搭使用.混合计算模式之集大成者当属UCBerkeley AMPLab的Spark系统,其涵盖了几乎所有典型的大数据计算模式,包括迭代计算、批处理计算、内存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(Graph X).Spark提供了一个强大的内存计算引擎,实现了优异的计算性能,同时还保持与Hadoop平台的兼容性.因此,随着系统的不断稳定和成熟,Spark有望成为与Hadoop共存的新一代大数据处理系统和平台.本文详细研究和分析了Spark生态系统,建立了基于Spark平台的混合计算模型架构,并说明通过spark生态系统可以有效地满足大数据混合计算模式的应用.
其他文献
路得维希·凡·贝多芬,伟大的德国作曲家、维也纳古典乐派代表人物之一。他的《第五首钢琴奏鸣曲》短小,精炼,壮丽而简洁,充分显示了贝多芬作品的特点,是非常出色的作品。乐
西方艺术歌曲的创作由来已久,舒伯特造就了第一个艺术歌曲创作的高峰,之后也有诸如舒曼和勃拉姆斯等人写了许多质量上乘的艺术歌曲。从上个世纪初起,我国的艺术歌曲创作也得
矢量是物理学中一类重要的物理量,矢量理论中蕴含着丰富的物理学思想。在高中阶段,学生认识矢量的关键环节在于力矢量这部分内容的学习,学生通过学习力矢量,对物理学中矢量有一个
<正>由于早春气温低、气候变化大,萝卜保护地栽培也易抽薹。为了选出耐抽薹的品种,我们于2004- 2005年引进当地种植的普遍萝卜品种与白玉春系列品种,进行了保护地耐低温萝卜
轻型木结构采用规格材、木基结构板材、胶合木、工字木搁栅等为代表的现代木构件制品,大大提高了原木利用率和结构物理力学性能;本文以河北石家庄某轻型木结构施工实践为例,
农民专业合作社是市场经济条件下世界各国农业领域的重要组织形式,其在农民经济发展中扮演着重要的角色。基于此,以山西省垣曲县为例,通过深入研究,运用对比分析的方法,比较
采用电池租赁和建立集中型充电站是电动汽车产业具有竞争力的发展模式。根据规划区各类型电动汽车日行驶距离概率分布,建立了电动汽车日换电需求模型。以此为基础,将集中型充
针对图像受近红外光线参与的影响而出现偏色现象,介绍了一种基于RGB色彩空间的四带(RGB带和一个附加的近红外带)树木图像颜色校正方法.该方法首先根据R-G差值图像,通过实验获
汽车传动系的扭转振动是车辆振动和噪声的主要来源之一,降低传动系统扭转振动的最主要措施就是在发动机和传动系的连接部分——离合器中安装扭转减振器。双质量飞轮扭转减振器
随着IT技术的高速发展和国际网络的迅速普及,以电子交易等相关服务为主的电子商务,发展突飞猛进。电子商务贸易不仅给人们的生活带来了极大的便利,而且潜移默化地改变着人们社会