Hadoop实现MapReduce模型的作业调度算法的改进

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:wk1990
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
2007年以来云计算成为了IT界的新热点。互联网迅速发展的同时也伴随着处理数据的激增。如何高效的存储和计算海量数据成为计算机科学亟待处理的新问题,而这类问题恰恰是云计算产生的动力。   云计算是基于互联网的相关服务的增加、使用和交付模式,这种服务可以是软件、硬件或者是其他服务[1]。这就意味着云计算实现了计算能力的商品化。云计算通过互联网提供动态的易扩展的而且经常是虚拟化的资源。   当今比较热门的云计算框架有亚马逊的弹性云,IBM公司的“蓝云”平台以及微软基于互联网平台打造的“蓝天”操作系统。其中MapReduce是Google提出的一个云计算的模型,用于处理大规模数据集[2]。它通过提供一系列的接口将简单的业务逻辑从复杂的实现细节中分离出来。通过这些接口可以实现大规模数据集的并行计算。可以说MapReduce是一个并行计算模型,也是一个编程模型。Hadoop是对Google公司MapReduce框架的开源实现,它是当前应用最广泛的开源云计算平台[3]。   本文在Hadoop实现的MapReduce架构基础上,详细剖析了MapReduce的内部结构,分析其工作机制。在分析了现有的三种作业调度算法的基础上,针对当前算法没有考虑服务器负载状况和数据本地性差的缺点,提出了一种改进的作业调度算法,该算法通过分析一定时间空闲节点的到达次数和当前服务器集群的负载状况,根据服务器集群的负载决定作业队列中执行作业的数量,并通过采取等待的办法满足考虑数据本地性的需求,把作业分配到相应的节点。通过采用MapReduce的开源实现Hadoop来进行实验。结果证明,在集群高负载的情况下,该算法可以增加服务器集群的工作效率,减少网络延迟,具有实际的应用意义。
其他文献
骨龄指标在医学领域、体育领域和司法等领域有着广泛的应用,是目前医学图像处理领域重要的研究课题之一。现阶段对骨龄评价主要是通过人工方式对手腕骨X射线图像进行观察来获
随着互联网信息,尤其是文本信息的爆炸式增长,如何让用户高效地获取最重要或者说最需要的信息已经成为学术界备受重视的问题。以Web InfoMall为例,从2001年以来,该系统已经保存了
本报告分为两部分内容来阐述作者在站期间完成的多核体系结构分析与优化技术研究工作及成果。  (1)基于蚁群优化的片上网络自适应路由算法的FPGA仿真与性能分析技术研究。
分组密码和hash函数作为密码学的重要基础算法,一直是密码学界和工业界的热点研究课题之一。线性分析,差分分析,不可能差分分析、boomerang攻击、相关密钥攻击、积分攻击、和rot
人脸表情识别技术已经在游戏、驾驶员疲劳检测、智能人机交互等领域得到了广泛的应用。但是表情表述和理解的计算,仍然是一个极具挑战性的课题,这主要是因为人脸表情识别中涉及
日益严重的交通问题已成为全球性的顽疾,它不仅影响个人生活和社会经济活动,而且涉及到环境、能源和安全等当今世界关注的重要议题。智能交通系统(ITS)被公认是解决道路交通问
随着社会发展对高效工作的迫切要求以及移动互联网技术的迅猛发展,越来越多的单位和个人迅速加入到移动办公的行列。在传统的办公模式中,工作人员必须在特定的工作环境和特定网
随着计算机技术以及人工智能技术的不断发展,智能决策技术在许多领域得到研究和应用,并发挥着越来越重要的作用。本文就是基于人工智能和决策支持系统领域的相关知识和技术,针对
近年以来,大数据处理一直是计算机界研究的热点,特别是云计算、物联网和社交网络等新兴服务的出现,使得各类型的数据呈现爆炸式增长。由于海量数据具有数据量巨大、数据结构复杂
运动跟踪是计算机视觉领域的一个重要研究课题。它是对图像序列中的运动目标进行检测、分类和跟踪,获得运动目标空间位置、速度、加速度以及运动轨迹等参数,并对其行为进行理解