论文部分内容阅读
为了能有效处理海量数据，进行关联分析、商业预测等，Hadoop分布式云计算平台应运而生。但随着Hadoop的广泛应用，其作业调度方面的不足也显现出来，现有的多种作业调度器存在参数设置复杂、启动时间长等缺陷。借助于人工蜂群算法的自组织性强、收敛速度快的优势，设计并实现了能实时检测Hadoop内部资源使用情况的资源感知调度器。相比于原有的作业调度器，该调度器具有参数设置少、启动速度快等优势。基准测试结果表明，该调度器在异构集群上，调度资源密集型作业比原有调度器快10％～20％左右。