随着基于Hadoop平台的大数据技术不断发展和实践的深入,Hadoop YARN(Yet Anouther Resource Negotiator)资源调度策略在异构集群中的不适用性越发明显。一方面,YARN资源调度器无法根据节点的计算能力动态调整节点承担的任务份额,导致异构集群中优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的资源调度策略始终为作业静态地分配统一规格的资源容器,未考虑作业执行的不同阶段资源需求的差异性,易产生大量资源碎片,从而导致系统资源利用率降低,整体性能下降。基于以上问题,在深入分析YARN架构及其资源调度机制的基础上提出了作业的自适应资源调度策略:首先,监控服务器对集群所有执行节点和提交的作业进行多项性能相关信息的监控;其次,利用采集的实时监控数据建模、量化集群节点的综合计算能力;最后,集群主节点结合实时节点性能监控信息和作业性能监控信息启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。搭建Hadoop2.0和Ganglia综合实验平台,对上述作业的自适应资源调度策略进行实现,并基于大数据典型CPU密集型作业和I/O密集型作业进行性能测试。实验结果表明,作业的自适应资源调度策略能够有效增加集群并发度、缩短作业执行时间、提升系统资源利用率。