【摘 要】
:
任务调度是影响大数据分析性能的重要因素,已经成为了近些年来的MapReduce调度研究热点。近些年,大规模的数据密集型的计算需求变得越来越重要。在高能物理学领域,大型强子对
论文部分内容阅读
任务调度是影响大数据分析性能的重要因素,已经成为了近些年来的MapReduce调度研究热点。近些年,大规模的数据密集型的计算需求变得越来越重要。在高能物理学领域,大型强子对撞机(LHC)每年产生的数据存储于超过40个国家的140个计算中心。由于数据的分布特点,将作业需要的数据汇聚到一个计算中心是不实用的。数据中心间的数据传输成为影响MapReduce任务调度的一个重要因素。在考虑截止期、数据本地化、中间数据处理和负载均衡的影响下,本文研究在地理分布的异构多数据中心下的MapReduce任务调度问题,具有重要的理论意义和应用前景。本文考虑的在地理分布的异构多数据中心下的MapReduce任务调度问题,首先改进了G-Hadoop框架,并针对Map、Shuffle和Reduce阶段的问题特点和特性,分别建立了三个阶段的数学模型,然后给出了优化目标和约束条件,最后提出了在地理分布的异构多数据中心下的MapReduce任务调度算法。该算法主要分为三个部分:Map阶段任务调度、Reduce数据中心选择和Reduce阶段任务调度。在每个心跳期,根据当前系统的可用slot资源,以及Map阶段和Reduce阶段的作业和任务排序规则,构建任务就绪队列。Map阶段任务调度主要考虑数据本地化影响,以最小化总数据本地化代价为原则进行任务调度;在考虑作业中间数据处理时间以及Reduce阶段预估时间代价下,Reduce数据中心选择将会为每一个完成Map阶段的作业选择一个合适的数据中心处理该作业的Reduce任务,同时兼顾数据中心负载均衡;Reduce阶段任务调度是以最小化总任务执行时间为原则进行任务调度。为验证所提出算法的效率和有效性,采用多因素方差分析技术对算法的相关参数和组件进行测试和分析,得到最适合求解该问题的相关参数值和组件;将提出的算法与对比算法在不同数据中心节点规模和作业规模的实例上进行比较和分析。实验结果表明,所提算法在不同数据中心节点规模和作业规模都优于对比算法。
其他文献
多核时代的到来,处理器的运算能力得到了很大的提升.但由于处理器和主存之间的发展速度的不均衡,“存储墙”的问题越来越严重,成为影响系统性能的瓶颈。在多核体系结构下,多
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种典型的高分辨率二维雷达成像系统,具有全天时、全天候、高处理增益、穿透力强等特点,无论在军事领域还是民用领域都发挥着
随着语义网的迅速发展,RDF(Resource Description Framework)格式的数据广泛应用于百科全书、地理信息、生命科学等领域。在海量数据的压力下,传统的RDF关键词近似搜索方法已
随着现代社会科学技术水平的不断发展,为了满足人类更高的生产生活需求,越来越多的重工业技术在增加使用,与此同时,也带来了能源问题、污染问题等一系列问题。为了实现人类社会的可持续发展,为子孙后代留下绿水青山,越来越多国家开始关注能源和污染的问题。本课题旨在研究一种基于金属毛细管网新型末端形式的高效节能热泵空调系统。本文基于Simcenter Amesim软件,建立了一种基于金属毛细管网新型末端形式,选
近年来,随着人工智能技术的迅速发展,推动着许多领域不断革新。无论是无人汽车的自动驾驶,还是监控视频的自动预警,行人识别都成为亟需解决的核心问题之一。基于特征的传统机
村改居社区是我国城市化过程中出现的独特现象,它既有城市社区的特征,又具有农村社区的特点。本文依据社会资本理论、治理理论,结合实地调查,探究在村改居社区中所蕴含的社会
凝汽器是汽轮机主要的辅助设备,能够提高蒸汽的有效焓降,对汽轮机组安全、经济运行有很大的影响。由于凝汽器在高真空环境下运行,在运行过程中容易发生故障,凝汽器发生故障是
一直以来,作为我国国民经济重要支柱产业之一的建筑业都处于一个微利且竞争十分激烈的处境。如何有效控制项目成本、获得竞标价格优势,进而得以生存和发展,成为了大多数建筑企业一直在探索的问题。A建筑施工企业正是如此,然而还是出现了多个项目成本超支的现象。即将完工的X工程项目,截止2019年第三季度,该项目已超支805.18万元,预计该项目最终将会亏损1000万元左右。因此,深入研究A建筑施工企业在工程项目
中国推行工程监理的近三十年来,由试点开展,到形成工程建设基本建设的三项制度,在工程建设中发挥了十分重要的作用,但工程监理业发展到今天,存在一些深层次的问题与矛盾,其中
呼和浩特市是我国严重缺水城市之一,人均年拥有量不足全国的一半,水资源已成为制约我市社会、经济发展的重要因素。2000年呼和浩特市水务市场化改革以来,随着水务资产运营管