基于Spark的并行计算的研究

来源 :西南科技大学 | 被引量 : 0次 | 上传用户：my363

【摘要】

：

互联网信息技术的迅猛发展为人们的信息交流带来便利性的同时,也使得全球的数据量呈现爆发式的激增。大数据的产生,需要对这些数据进行分类处理。顺应大数据时代而出现的MapReduce分布式并行计算框架,由于其低门槛和方便有效的大数据处理能力,备受各大企业的青睐。然而大数据价值密度小的特点让各企业逐渐察觉到MapReduce已经满足不了时效性。这样的背景下,Spark更为高效的数据处理能力而被广泛推广应用

【作者】

：

刘飞

【出处】

：

西南科技大学

【发表日期】

：

2019年12期

【关键词】

：

并行计算 Spark 作业结构缓存置换 RDD权重

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

回回产卜爹仇贱回——回日E回。”。回祖一回“。回干肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》砧叫]们羽制作:陈恬’＃陈川个美食 Back to yield Buddy revenge - back to Japan E back. “Back once again.” Back to the dried meat in the magic N_. NH lP7-ewwe - “a” $ MN.W; - __._ - ------ "anvil called] feather production: Chen Tian

其他文献

ppp投融资模式发展现状及存在问题分析

ppp投融资模式自引入我国以来,在转变政府职能和缓解基础设施建设资金短缺上发挥出了重要的作用。但是从我国目前情况看,ppp投融资模式在我国应用仍处于初级阶段,一些工作仍

期刊

ppp投融资现状问题

ASD光谱仪进行岩矿野外光谱测量方法——以甘肃北山地区为例

回回产卜爹仇贱回——回日E回。”。回祖一回“。回干肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》砧叫]们羽制作:陈恬’＃陈川个美食 Back to yield

会议

ASD光谱仪北山地区典型矿床光谱测量对比试验

小议三角知识教学中学生核心素养的培养

早在2014年教育部印发《关于全面深化课程改革落实立德树人根本任务的意见》,要求课程改革亟需向着学生德智体全面发展的要求进行,并在2017年初颁布了各学科的具体核心素养.

期刊

三角函数公式正切函数知识教学

“不当出生”之诉案由选择之优劣

本文通过对我国医疗损害案件中“不当出生”之诉案由的选择。对侵权之诉和违约之诉的优劣进行比较，提出解决“不当出生”之诉在立法及司法实践上的一些思路，以期对患方依法维权

期刊

医疗损害诉讼案由侵权之诉违约之诉medical tort lawsuit cause of action tort action action of

耗竭性资源利用和保护的法律制度创新——一种法律经济学的观点

耗竭性资源是人类生存和社会发展的重要物质基础，也是我国实现可特续发展的关键。本文用成本一收益方法对耗竭性自然资源的利用和保护进行经济学分析，并对耗竭性自然资源的利用

期刊

耗竭性自然资源经济分析制度创新

线材控冷系统的最新发展—次声冷却

期刊

线材轧制控冷系统次声冷却

歌剧中钢琴伴奏技巧性分析研究

歌剧是将音乐、戏剧、文学、舞蹈、美术等融为一体的综合性艺术,是以歌唱为主的艺术形式。音乐包括声乐和器乐,它是歌剧的重要组成部分。钢琴伴奏作为钢琴演奏者的重要演奏技

期刊

钢琴伴奏技巧性

文化多样性、中国梦和中国电影的当代发展

会议

PDCA管理循环在高职院校顶岗实习管理中的探索与研究

顶岗实习是高职教育校企合作、产教融合、协同育人的重要形式,是培养创新性人才的有效途径,是提高人才培养质量的关键手段。针对当前高职院校顶岗实习管理现状,运用PDCA循环

期刊

PDCA循环高职教育顶岗实习

基于SPARK的作业调度与内存缓存优化研究

随着云计算与大数据技术的迅速发展,Spark作为一种基于内存计算的大型数据处理框架已被广泛应用。为提升任务执行效率,针对该平台的研究已成为一大热点。在Spark环境下,数据的缓存、读取和计算都是在内存中进行,大大减少了内存和硬盘之间数据传输的时间,提高了任务的执行效率。但是进一步提高Spark的计算性能,探索高效的作业调度算法与更有效利用内存资源仍是亟待解决的两个热点问题。因此本文针对Spark

学位

SparkRDD遗传禁忌算法权重更新机制缓存预判机制

基于Spark的并行计算的研究

与本文相关的学术论文