Hadloop模型研究及其作业调度算法的改进

来源 :首都经济贸易大学 | 被引量 : 0次 | 上传用户:cxzafasaasassadf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,随着现代社会的信息量增长速度极快,个人数据和工业数据量越来越大,未来的信息发展方向必将以数据为中心。预计到2020年,每年生产的数字信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。而云计算技术在工业界和学术界共同推动下取得了巨大的发展,大量的云计算系统投入使用。其中,很大一部分的云计算系统采用Hadoop平台来开发数据处理程序。Hadoop平台是一个在集群上运行大型数据的处理应用程序的开放式源代码框架,其最大的优点就是实现了并行化对应用开发者的透明处理,应用开发者可以像开发普通程序一样来开发云计算的应用系统,而并行化的具体实现则由Hadoop底层自动完成,使得开发者只需专注于业务数据的处理开发。Hadoop发展至今,在实际应用中已经趋于成熟,但是在一些地方还有改进的必要和需求。   Hadoop的作业调度技术作为其平台的核心技术之一,其主要是针对作业执行的顺序按照调度算法分配计算资源,而使用的调度算法决定了Hadoop平台的系统资源的利用情况和整体性能。但是目前这一技术尚处于未完全成熟阶段,现有的作业调度算法均存在着一些缺点或限制,因此,通过对现有作业调度算法的研究,改进其不足之处,对提高Hadoop平台的整体性能和系统资源的利用率具有重要的意义。   本文主要研究工作和贡献如下:   通过广泛的资料查阅和学习,对Hadoop平台的产生背景和核心架构模型进行了比较深入的学习研究,并重点对核心架构中影响Hadoop整个集群的关键调度算法进行了深入学习,在学习并掌握Hadoop现有三种调度算法FIFO算法、公平调度算法和计算能力调度算法的基础上,针对三种算法的不足,提出了基于Logistic的回归作业调度算法,对算法的思路,要解决的问题进行了介绍,并在实现该算法的基础上对该调度算法进行实验验证,实验结果比较成功的达到了我们预期的目标,在一定程度上为Hadoop调度算法提供了更多的一种选择,并克服了已有三种算法中固有的缺点不足之处。
其他文献
期刊
在影片《Being John Malkovich》中,人们可以经由一个偶然发现的通道进入著名影星John Malkovich的大脑,亲历并观察一个明星的生活。Gene Frantz是TI的首席科学家兼DSP业务开
期刊
1978年到2018年,全国GDP总量由3678亿元飞速增长到900309亿元。然而,随着经济总量的不断增加,资源供给不足和环境污染的情况也越来越严重,绿色全要素生产率(GTFP)兼顾经济发展状况和能源、环境因素,其增长是衡量经济可持续发展状态的重要标准。国内学者们认为我国经济粗放发展的制度根源主要是财政分权,1994年,我国形成了政治上集权、经济上分权的财政分权体制,作为带动国家经济和社会发展的
学位
党的执政意识是关于党执政的出发点和落脚点以及思想观念、认识、思维模式的问题,是执政实践的先导。因此,执政意识在整体论的意义上,分别体现在主体、本质、内容、形式和外
低碳经济是人类对工业革命以来“高碳经济”发展模式的反思,它是一次新的产业革命和应对气候变暖必经的发展模式,是国家在新的一轮世界政治、经济重组过程中获得国际的话语权
党的十八届五中全提出,“十三五”时期是全面建成小康社会决胜阶段,河南省是重要的经济大省,但城镇化率较低,贫困人口较多,特别是“三山一滩”等贫困地区发展不均衡、不协调的情况
对于高职药学专业而言人才的创新能力就格外的重要,从高职药学专业创新型人才的培养模式改革入手,先分析了高职药学专业现有的问题,然后提出相应的改进解决的措施,最后叙述了
随着新经济时代的到来,双边市场理论成为产业经济学的前沿理论。不仅很多新兴产业具有双边市场的特征,而且许多传统产业也可以用双边市场理论的视角去研究,得出用传统经济理论难
期刊