【摘 要】
：
Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapRe
【机 构】
：
湖南长沙民政职业技术学院,湖南大学信息科学与工程学院
【基金项目】
：
2011年湖南省“十二五”规划课题:基于立体化教学环境的创新型IT人才模式研究与实践;2012年国家教育部资助国内青年骨干教师访问学者科研业务费资助
论文部分内容阅读
Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。
其他文献
早在两千多年前,先圣哲人就提出了“居者有其屋,耕者有其田”的主张,缔造新中国的中国共产党也正是在如此的理想情怀下赢得广大人民的支持。孟子的话已经跨越千年,新中国成立
以太原市为个案 ,确立了城市清洁生产评价指标体系子体系—城市生态建设评价指标体系的主要内容 ,采用了德尔斐法 ,计算各指标的权重值 ,并用评分法对太原市城市生态建设水平
前言脑缺血是严重威胁人类健康的高发的疾病之一,其损伤机制有兴奋性毒性,钙超载,细胞凋亡,炎症,自由基,一氧化氮以及线粒体的损伤。血脑屏障结构破坏和功能的变化是脑缺血早
在对云计算技术和呼叫中心技术进行深入研究的基础上,设计了一种云计算呼叫中心系统,探讨了基于云计算的呼叫中心系统在高校中的应用。呼叫中心是利用计算机电信集成技术建立
回顾了我国家族企业二十年来发展的历程 ,分析家族企业目前在人才管理机制方面面临的困难及其原因 ,认为家族企业在人才激励方面应淡化家族化观念 ,建立现代企业人才管理机制
基于TDMA技术的工业无线网络在工厂里的使用越来越广泛。在分析WIA-PA工业无线网络在组网过程中出现漏斗效应而造成速度缓慢的问题后,提出了一种面向WIA-PA工业无线网络的快
随着电动汽车的迅速发展,对电池能源的要求越来越高。蓄电池管理系统作为动力电池的一个重要组成部分,它直接检测及管理电动汽车动力电池的运行全过程,包括电池充放电过程、S
随着我国社会经济的快速发展,一些特大城市如北京、上海等城市地铁运营已经进入网络化、规模化运营时代,地铁突发事件已不是传统的孤立的事故,而是影响大,高度不确定性、综合
本论文主要分析了近年来查尔酮几种合成方法的优缺点,催化剂的选择及其适用的条件。
2008年的金融危机使得企业的外部经营环境变得动荡不安,给我国企业的生存与发展带来了巨大的不确定因素,企业的风险管理亟待加强。而财务管理一直是困扰企业的一大难题,财务