随着深度学习技术在人工智能各个领域的快速发展,深度神经网络（Deep neural network,DNN）模型日益复杂,数据集规模不断增大。在单机单卡环境下的DNN模型训练速度已经无法满足日常的研发需求,因此研发人员开始将DNN模型训练过程逐渐转移到多机多卡环境下使用多个计算设备进行并行训练,从而加快DNN模型训练速度。分布式深度学习（Distributed deep learning,DDL）开始成为大规模深度学习的重要支撑技术。然而,现有的通用集群调度器所采用的调度策略没有针对DDL任务的特性进行优化,导致DDL任务运行效率以及集群资源利用率低下。针对多个DDL任务的资源调度场景,存在着资源分配不均、任务随机到达、任务与资源之间存在异构性、集群带宽性能瓶颈等问题。故如何在分布式环境（GPU集群/数据中心）下完成对多个DDL任务的资源调度,提高DNN模型训练效率和集群资源利用率,是当前亟待解决的问题。基于以上描述,本文根据多个DDL任务到达集群的不同方式研究了GPU集群上多个DDL任务的资源调度问题,主要工作如下:（1）当多个DDL任务以周期性的方式到达GPU集群时,用户主要关心多任务的完工时间。本文提出了一种优化完工时间和资源利用率的资源调度方法（Optimizing makespan and resource utilization,OMRU）,解决多任务的任务调度和资源分配的联合优化问题。本文首先通过在不同数量的GPU上对DNN模型运行一个Epoch迭代来收集所有DNN模型的训练时间数据。然后将任务调度、资源分配和GPU复用相结合设计了OMRU算法。并在分布式环境下采用线性缩放规则调整DNN模型学习率,以保证DNN模型的精确度。最后,本文实现了OMRU算法并在GPU集群上使用图像分类和动作识别领域的多个DNN模型进行了调度实验。实验结果表明,OMRU算法相较于其它调度算法最多减少了30%的完工时间,并在图像分类和动作识别领域中分别达到了98.4%和99.2%的平均资源利用率,且DNN模型精确度与单机单卡环境下相近。（2）当多个DDL任务以随机的方式到达GPU集群时,用户主要关心任务的运行需求（如截止时间）是否被满足。本文提出了一种优化集群截止时间保证率的动态资源调度方法（Dynamic resource scheduling,DRS）,解决异构带宽环境下DDL任务的资源布局问题。本文首先根据Ring-All Reduce架构下DDL任务的迭代特性构建了资源-时间模型,以衡量DDL任务在不同资源配置下的运行时间。然后基于截止时间需求构建了资源-性能模型,以实现高效的资源利用。DRS算法基于上述模型并结合资源布局确定任务的最优资源配置,再基于最近截止时间原则选择最优调度任务进行物理资源分配,并引入迁移机制减少调度过程中出现的资源碎片场景的影响。最后在一个异构带宽GPU集群上进行了调度实验,实验结果表明,DRS算法相较于其它调度算法最多能够提升39.5%的截止时间保证率,并在调度过程中令集群总体节点的平均资源利用率达到了91.2%。