基于Key-Value倾斜模型的Spark动态数据分区算法

来源 :北京邮电大学 | 被引量 : 7次 | 上传用户：crylion

【摘要】

：

随着互联网的蓬勃发展,数据量呈现出几何式的增长,在处理海量数据时,单机的计算性能难以支撑作业的需求,往往需要分布式集群来完成相应的计算工作。Spark是一种高性能的分布式数据处理框架,可以利用集群的内存,提高数据处理的效率。在分布式的环境下,当数据倾斜发生时,会使集群中各个处理机上分配到的数据量不均衡,某一台或几台机器所需处理的数据量过大,而其他机器只分配到少量数据,导致集群中的资源得不到充分利用

【作者】

：

阎逸飞

【出处】

：

北京邮电大学

【发表日期】

：

2019年01期

【关键词】

：

数据倾斜分区算法负载均衡 Spark

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技术领域,包括主机、控制电路和计算机三部分组成,主机包括由棱镜。敏感膜敏感芯片、半导 Ue*M#

其他文献

企业中层管理人员的选拔研究

中层管理者在企业内部管理中起到承上启下的作用,他们不仅是企业的决策者,也是企业决策的执行者。中层管理人员的工作能力、敬业精神和综合素质对企业的发展有着极其重要的影

期刊

企业中层管理人员选拔

妇产科常见病用药第5讲念珠菌性阴道炎

念珠菌性阴道炎是由念珠菌感染引起的阴道炎,且常伴有外阴炎.念珠菌是一种条件致病菌,10%～20%非孕妇及30%孕妇阴道内带有少量念珠菌,而无任何症状.一旦抵抗力降低或阴道局部环

期刊

念珠菌性阴道炎临床表现诊断治疗抗生素制霉菌素曲古霉素咪唑类

颈臂神经丛联合阻滞在锁骨和肩部手术中的应用

锁骨和肩部手术的麻醉方法很多,全麻及高位硬膜外麻醉,术中管理水平要求高,尤其是高位硬膜外危险性较大,而单纯应用颈丛或臂丛阻滞麻醉,对此类手术都有阻滞不完善之缺点.我院

期刊

颈臂神经丛联合阻滞锁骨手术肩部手术麻醉

叶面喷施铁锌肥对甘薯产量与品质的影响

ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技

学位

甘薯生物强化铁锌肥氨基酸铁锌肥高铁还原酶(FCR)

副神经移位膈神经后膈肌运动诱发电位与病理学对照研究

目的:于高位颈髓损伤大鼠的副神经移位膈神经重建呼吸功能后的膈肌运动诱发电位、膈肌病理学变化进行对照研究。方法:对70 只SD雄性大鼠进行研究,10 只为对照组,其余60 只进

期刊

膈神经副神经病理学膈肌运动诱发电位

初中汉语言文学教学策略探析

中华文化博大精深,作为世界四大文明之一,中华文化以其独特的魅力感染了一代又一代炎黄子孙。随着中国与世界的联系日渐紧密,越来越多的外国友人被中华文化吸引投入到中文学

期刊

汉语言文学初中汉语言教学策略策略探析

印度对中国“一带一路”倡议的态度演变、动因及应对

自中国提出"一带一路"倡议以来,印度始终没有加入。印方态度从初期的观望、疑虑演变到中后期的对冲、反对。不过从近期印方政界、军界、外交界、战略界的反应来看,印方的态度

期刊

印度“一带一路”倡议态度中巴经济走廊

异位妊娠患者尿β—hCG含量测定的临床意义

异位妊娠是妇产科领域常见的急腹症,也是引起孕产妇死亡的主要原因之一.为了不断提高其诊治水平,我院自2000年6月至2001年12月,采用ELISA法动态测定52例异位妊娠患者和42例正

期刊

异位妊娠尿Β-HCG含量测定临床意义

趣味性教学,语言的味精

根据语文教育改革的要求,小学语文必须重视课堂的趣味性。一个有趣味的课堂,学生学习积极性就会提高,教学质量也就自然而然提高了。

期刊

趣味性语言成绩提高

太子河流域莠去津的空间分布及风险评价

期刊

太子河莠去津通量分配系数风险评价

基于Key-Value倾斜模型的Spark动态数据分区算法

与本文相关的学术论文