目前大数据技术迅速渗透了各行各业,也产生了多种数据处理需求:批处理、实时事件处理、机器学习等。在这样的背景下,Hadoop在其第二代(Hadoop2.0)引入了YARN进行资源管理,YARN是Hadoop提供的解决多维需求的方法,将Hadoop从单一的“批量存储/处理”系统,转换成真正的多用途平台。然而,通过分析生产环境中这样异构的负载,我们发现集群中的任务不成比例地共享资源,即少量长任务消耗了大部分集群资源。同时还发现,这样的负载下存在大量的资源碎片,即已经分配但是还未使用的资源。因此,本文通过拓展YARN,采用混合结构的调度方式,从而将长短任务分开进行处理,并且让分布式调度器利用资源碎片。本文在YARN的基础上研究了混合结构调度方式,即向原先的调度系统中添加分布式调度器。此时调度系统中存在两种调度器,这两种调度器各有不同的特点:1)中央调度器可以为异构的应用提供严格的调度不变量保证(例如fairness、capacity);2)分布式调度器可以提供可拓展的高效的调度,但是难以实现调度不变量。我们设计使用中央调度器来处理长任务,因为中央调度有全局的资源视图,可以从多个维度优化资源分配。对于短任务,我们使用分布式调度器通过过分配的方式来利用集群中的资源碎片。因为现在整个调度系统中有两条调度路径,我们首先要解决的问题是如何选取合适的调度路径。我们将这个工作放在应用框架中来做,因为应用更能理解自己对资源的需求。不失一般性地本文在Map Reduce框架中使用采样执行和回归分析相结合的方法来鉴别短任务。另外,因为我们使用分布式调度器来利用过分配资源,所以节点很可能出现拥塞的情况。对于这个问题,我们提出了一种主动避免的解决方法,通过学习作业历史数据来训练拥塞避免模型,使用该模型指导调度器放弃可能会出现拥塞的决策。最后通过对比实验,使用多种负载,包括重现真实生产环境负载、典型benchmark负载和混合负载,验证了短任务选取模块、拥塞避免模块和整体性能改进。实验表明,混合结构调度器提升了集群的任务吞吐量,进而提高了资源使用率,缩短了任务完成时间。