面向一种云计算平台的任务调度技术研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:wilsai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术近几年的迅速发展,Hadoop这种处理大规模密集型数据的云计算平台受到国内外大型IT公司、社交网络、全球各大通信运营商等的广泛关注及应用。Hadoop系统可部署在廉价的普通服务器上,能高效并行处理大规模数据集。Hadoop平台有可能由成千上万个节点组成,在这些节点中采用什么样的任务调度技术协同处理各个任务显得尤为重要。一个好的任务调度策略不但能够很大程度上提高任务响应时间和系统吞吐率,也能提高整个集群资源的利用率。因此,任务调度技术的研究对云计算平台的发展具有重要意义。本文面向云计算平台Hadoop的任务调度技术进行了如下研究:首先,研究Hadoop平台的基本架构,Hadoop主要由数据存储结构HDFS和任务并行处理模型MapReduce两个部分组成。在其架构的基础上分析了Hadoop的数据存储特性、任务处理流程以及数据流程。详细阐述了Hadoop平台的任务调度技术发展现状,并分析了现有Hadoop平台采用的任务调度算法的特点和局限性。其次,根据Hadoop数据的存储特性,提出了基于数据局部性对LATE算法的改进策略,在Hadoop平台中分机架考虑任务推测执行的调度问题,选择备份任务推测执行时,优先选择数据存储在请求处理节点上的任务,以及节点所在机架上的任务推测执行;如果没有数据存储在本节点或者本机架的任务需要推测执行,再考虑在其它机架上查找需要推测执行的任务。再次,利用统计学概率论解决任务等待时间过长影响工作响应时间的情况。根据稀有事件发生概率模型,综合考虑数据局部性优化问题和任务等待本节点或者本机架处理的时间过长反而影响任务响应时间的问题。最后,在CloudSim仿真平台上模拟Hadoop架构,对不同的任务类型,设定不同的参数值进行仿真实验,分析算法在提高任务本地化处理能力、减少工作响应时间以及优化系统吞吐率等方面较其他算法具有明显优势,基于数据局部性的改进算法解决了Hadoop平台任务调度技术有关数据局部性问题的性能瓶颈。
其他文献
近些年,人们满足自身信息需求的方式发生了深刻变化。例如,移动设备如今无处不在。据报道,人们在移动端的搜索量已经超过了 PC端的搜索量。我们在本文中主要研究多种交互模式
近年来,随着互联网的迅速发展,人们萌发了使用互联网收看电视的想法。而机顶盒(STB)作为一种集计算机、电视和电信技术为一体的高科技产品,正逐渐将电脑的功能集成到了电视,成为
无线Ad-Hoc网络是由一组带有无线通信收发设备的移动节点组成的多跳、临时、无中心的自治系统,是一种不需要基础设施、可以在任何地点任何时刻迅速构建的移动自组织网络。网络
气象数值预报,是一个与科技民生息息相关的领域,随着气象卫星技术的不断进步,得到的资料也越来越丰富,气象数值预报也从依赖专业人员的经验,转而利用各类图像处理技术,使结果
即时通信(Instant Messaging, IM)系统是随着Internet发展起来的一种网络应用系统,人们通过它可以方便快捷的进行实时交流,如在线交谈、传递文件、及视频会议等。随着移动互
动作捕捉数据具有冗杂度高、数量级大、特征维度高等特点,使得动作捕捉数据在检索时耗费时间较长。本文提出一种基于哈希学习的高效编码和快速检索算法以达到在大规模动作捕
随着社会的不断发展,工业制造水平的不断提高,工业制造目标已经不仅仅是大批量的标准化的工业零部件,而更多是小批量富有个性的生活用品和艺术品。比如最近火热的3D打印技术,
随着嵌入式技术的不断发展,嵌入式系统被应用到了社会的各个领域。加载和引导操作系统内核、开发相关设备驱动、固化软件等是嵌入式系统开发的首要任务。板级支持包(Board Sup
大规模地形及森林绘制一直是虚拟现实领域应用较多的两个方向,而且也一直是图形学研究领域的两个热点。另外,大规模地形绘制与大规模森林绘制在模型表示及绘制算法上有一定的
随着大数据处理技术的不断发展,分布式流处理系统也在越来越多的数据处理应用中发挥作用。云计算的飞速发展也使得许多中小企业和研究人员能够通过租用的形式享受集群带来的