基于分配适应度的Spark渐进填充分区映射算法

来源 :通信学报 | 被引量 : 8次 | 上传用户：moowoo

【摘要】

：

分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Red

【作者】

：

卞琛于炯修位蓉廖彬英昌甜钱育蓉

【机构】

：

新疆大学软件学院,新疆财经大学统计与信息学院

【出处】

：

通信学报

【发表日期】

：

2017年09期

【关键词】

：

并行计算 SPARK 渐进填充分区映射分配适应度 parallel computingSparkprogressive fillingpartitionin

【基金项目】

：

国家自然科学基金资助项目(No.61262088,No.61462079,No.61562078,No.61363083,No.61562086),新疆维吾尔自治区自然科学基金资助项目(No.2017D01A20),新疆维吾尔自治区高校科研计划基金资助项目(No.XJED2016S106),新疆财经大学科研博士启动基金资助项目(No.2015BS007)

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

《蒙医金匮》方剂数目的统计研究

《蒙医金匮》又名《方海》，均为藏文版《门阿·仁钦仲乃》的不同译名。本书是19世纪上半叶木刻版刊行的蒙医学杰出著作。在近200年的漫长实践中，为蒙医药的发展做出了不可

期刊

蒙医金匮方剂统计

原始宗教对傣医学基础理论的影响

傣族是一个比较古老的民族，早在4000多年前，傣族先民就在云南省的澜沧江流域、金沙江流域、瑞丽江流域、威远江流域、元江流域一带生息繁衍，创造了灿烂的傣民族文化。傣族传统医

期刊

原始宗教傣医基础理论

我国稀土国际贸易内部供给与外部需求分析

中国不仅是稀土资源的储量大国，而且也是稀土的生产和消费大国。改革开放以来，中国逐渐成为世界稀土出口的中流砥柱，长期低廉大量的稀土出口也使得中国的稀土资源总储量大幅度锐

期刊

稀土国际贸易内部供给外部需求

新时期政治经济学与经济发展浅析

政治经济学是马克思主义的核心组成部分，也是马克思主义中十分重要的理论知识。为了推进政治经济学发展，促进我国经济不断进步，现代社会对于政治经济学的研究在不断深入，本文针对

期刊

政治经济学马克思主义创新策略经济发展

退火窑辊道裂纹分析

某厂退火窑辊道在调质后精加工过程中,发现内孔有裂纹,经探伤发现端面及内孔均有裂纹存在。采用宏观观察、磁粉探伤、热酸蚀试验、化学成分分析、显微观察等手段,对退火窑辊

期刊

退火窑辊道裂纹氧化脱碳白点裂纹Annealing furnace roller Crack Oxidation Decarburization Fla

Wi-Fi设备间节能通信抗频偏数据分组检测

提出了一种基于Wi-Fi接口的数据分组检测算法,它在OFDM符号同步定时度量函数中采用一种新型归一化因子作为分母,与传统方法相比,该算法不仅有较高的检测概率,而且阈值的设置

期刊

绿色通信D2DOFDM同步WI-FI移动无线网络green communication device-to-device OFDM synchro

天津工程师范学院单独招生考试考前补习班招生简章

期刊

荜茇不皂化物对家兔胆汁成分及谷丙转氨酶的影响

目的：观察荜茇不皂化物对家兔胆汁成分及谷丙转氨酶水平的影响，为进一步开发研制治疗高脂血症的蒙药提供实验依据。方法：用全自动生化仪测定用药前后家兔胆汁中胆酸、胆固醇含量

期刊

荜茇不皂化物胆固醇胆汁酸谷丙转氨酶unsaponifiable matter of Fructus Piperis cholesterol bile a

杭州白领出现“酷抠族”低碳节俭成为新时尚

“能省则省，不省也要省”，这是杭州“酷抠”一族白领撰写的“三大纪律、八项注意”中的第一项内容。即使收入不菲，这些白领也盘算着“一分钱掰成两半花”，他们表示，不仅要“抠”，还要“抠”出美丽、“抠”出品位、“抠”出低碳、“抠”出时尚。　　自己在家种辣椒、小番茄、丝瓜，便宜又健康；用开水煮饭，省电又营养；走路20分钟内就不坐车、骑车20分钟内就不开车，健身又低碳……这些自诩“酷抠族”的白领并不贫困，也不

期刊

白领时尚低碳杭州节俭纪律收入

大型薄壁铝合金铸件磁流铸造技术

介绍了磁流体力学的发展、应用过程，通过流动磁场与熔融金属的相互作用揭示了磁流铸造的原理；在国内外磁流铸造研究应用的基础上，总结了磁流铸造的技术特点；在与压铸比较的基础上

期刊

磁流体力学流动磁场磁流铸造Magnetohydrodynamics(MHD) Travelling Electromagnetic Field MHD

基于分配适应度的Spark渐进填充分区映射算法

与本文相关的学术论文