【摘 要】
：
随着数据规模的急速增大，应用种类的极大丰富，个人用户和企业对信息的需求已经远远超过了原有平台的能力。越来越多的应用和平台，不论对企业级还是个人级用户都不堪重负，Hadoop平
论文部分内容阅读
随着数据规模的急速增大，应用种类的极大丰富，个人用户和企业对信息的需求已经远远超过了原有平台的能力。越来越多的应用和平台，不论对企业级还是个人级用户都不堪重负，Hadoop平台作为一个开源的，且运行在集群上的大型数据库处理框架得到了广泛应用，然而由于Hadoop还比较年轻，在很多地方还有改进和修改的可能。本文通过广泛的调研，介绍了云计算的定义和关键技术，对基于云计算的Hadoop平台的两大核心Mapreduce和HDFS进行了深入的研究。论文重点分析了现有的3种调度算法：先入先出调度算法（FIFO）、公平调度算法(Fair-Scheduler)和计算能力调度算法(Capacity Scheduler)的设计思路和优缺点，并针对Hadoop的参数过多难以设置和调度算法过多难以选择的问题，提出了一种海量数据的抽样算法，设计了基于该算法的改进Hadoop框架，即在原有框架基础上加入了策略选择层，从而解决上述两个问题。最后对Hadoop平台重新打包并进行实验验证，实验结果表明，和以前版本相比，其处理海量数据问题的性能有了明显的改进。
其他文献
随着社会经济的飞速发展,交通拥挤情况日益恶化,严重影响人们的日常生活。交通警察指挥手势对于缓解因天气原因等引起的交通路口拥挤状况以及无人驾驶等领域具有特别的意义。
近些年,随着网络规模的急剧扩大以及云计算、大数据等新型业务的出现,传统网管系统逐渐地暴露出其在网络管理方面的缺陷。一方面,在传统网络中,为了应对来自网络数据流量爆炸
皮影戏是我国重要的传统艺术形式之一，但近年来受到较少关注，且发展缓慢。论文所依托的项目旨在弘扬传统艺术，保护并发扬中华文化遗产，提出一种在混合现实环境下交互式表演、生成
虹膜识别系统的准确率与图像质量密切相关,劣质的图像会严重影响整个系统的识别率,虹膜图像质量评估的目的,就是筛选出这类图像,保证进入识别系统的图像是符合识别要求的高质
半监督学习是机器学习的一个重要分支，在近些年互联网爆炸式发展过程中，出现了大量的数据分类需求，半监督学习可以利用有限的已标记数据和大量的未标记数据来解决数据分类的问题
随着校园网络规模的扩大、应用的不断扩展,网络架构日益复杂,迫切需要对校园网络实现实时的监控、及时的预警和综合的分析。网络监测预警系统是了解网络运行状况的有效手段,
在电商化的推动下,脚型三维数据的获取工作在鞋类定做领域占据重要地位。传统的计算机多视觉几何算法对三维脚型进行重建需要满足各种各样的条件,如要求脚上纹理明显(要求数
多媒体互动应用一直以来都深受人们的喜爱,它可以以一种趣味的形式让用户站在一个新颖的角度去体验日常生活中可能出现的事件,甚至是处于想象中的事物。我们开发的多媒体互动
本体映射旨在构建异构本体间的语义桥梁,以实现不同本体间的知识共享和信息交流。但是,随着本体应用的不断发展,本体规模也在不断壮大,当前出现了一类概念数量庞大、相互之间
随着论坛、博客和微博等网络媒体的快速发展,表达人们情感、态度和观点的主观性文本大量出现。文本情感分析,也称意见挖掘,就是对这些主观性信息进行有效地分析和挖掘,并进一