【摘 要】
:
云计算是一种新兴的并行计算技术,在学术界和商业界都取得了巨大的发展,已有大量的云计算系统被投入使用。现有的Hadoop平台在异构环境下的调度效率低下,任务响应时间长,浪费
论文部分内容阅读
云计算是一种新兴的并行计算技术,在学术界和商业界都取得了巨大的发展,已有大量的云计算系统被投入使用。现有的Hadoop平台在异构环境下的调度效率低下,任务响应时间长,浪费系统资源。因此,通过研究现有的Hadoop平台的任务调度算法,发现其不足并改进,对改善Hadoop平台的整体性能和提高系统资源利用率有着很重要的意义。本文首先介绍了云计算的发展背景及现状、Hadoop平台的基本架构和核心技术。然后对Hadoop平台的任务调度技术进行了深入研究,在详细分析了四种现有的任务调度算法,包括FIFO算法、公平调度算法(Fair Scheduler)、计算能力调度算法(Capacity scheduler)和推测式任务调度算法(Speculative Task)的主要思想、设计思路、优点以及不足之处的基础上,给出了一种改进的推测式任务调度算法。在改进算法中,通过统计在工作节点上记录的信息来得到Map和Reduce任务各个阶段的时间比例,并对慢的工作节点详细区分,考虑节点的数据局部性,高效地在快节点上启动落后任务的备份任务,从而使任务的响应时间更短,提高系统资源的利用率。最后通过搭建实验环境,对算法进行编程实现和实验验证,并利用现有的几种调度算法与改进的调度算法进行比较,来评估改进的算法的性能。实验结果表明改进算法能够更加合理地利用系统资源,有效的调度任务,在异构集群中性能更为良好。
其他文献
皮影艺术由戏剧和造型两种艺术结合并发展而来,是民间传统艺术的瑰宝。然而,目前皮影戏的现状却不容乐观,特别是在“影人”的制作、皮影戏的表演、传播等很多方面存在不可避免的
本文从分析电子商务目前所面临的困境出发,提出当前电子商务发展的主要障碍是在Internet上企业间数据格式混乱,无法进行有效的信息交换的问题。然后从XML及HTML的技术比较入
当前,手机短信引起社会各界的关注.服务提供商(目前多为短信内容提供商)作为手机短信内容的主要来源,在短信增值业务价值链条中扮演着重要的角色,短信业务的繁荣特别是今后的
针对目前语音通信软件设计中的困难,该文对通信流程形式化逻辑描述方法进行了研究.根据语音通信软件中呼叫控制过程的特点,该文使用状态推导图对通信流程进行建模,并结合人工
本文针对电信业务的需求,在项目组的共同努力下,建立了一个面向IP业务的综合决策支持系统。依据决策支持系统基本原理和数据库数据仓库技术,以及微软的.NET架构,构建了包含四库系
随着Internet日益渗入社会的每个领域,融入人们的工作、学习和生活,构建安全的电子政务、电子商务等Web应用成为当前网络安全领域研究的热点之一,其实现具有重大的实用价值和
普适计算中的上下文感知为用户提供其所在环境的上下文相关信息,其中80%的信息和位置有关,因此定位问题在上下文感知中占据举足轻重的地位。普适计算中设备的许多行为都与其所在
该文从实际出发,提出了一种任意文本的说话人识别的新方法.该方法首先采用小波包分析进行语音信号的消噪处理,然后提取说话人语音信号的静态特征和动态特征,再建立多级小波神
安全模型和安全策略是数据库安全机制实施的基础.在对现有的几种典型的数据库系统安全模型进行了分析和比较的基础上,提出了一个新的基于伪元组的多级安全数据模型.该模型通
分布式对象系统的应用范围已经扩展到Internet之上,企业之间现有的软件构件需要实现相互通信。DCOM和CORBA是两种最常用的分布式对象系统,它们在局域网内工作良好,当扩展到In