近年来,以深度学习为代表的核心技术引发了第三次人工智能的浪潮。从互联网巨头到中小规模企业、从研究所到各个高校,学术界和工业界都围绕深度学习技术开展了广泛的研究和探索。虽然以TPU为代表的深度学习专用硬件层出不穷,但是GPU集群仍然是开展深度学习研发的主流平台。相比于巨头互联网公司推出的大规模定制化深度学习平台,广大科研院校和中小规模企业由于预算有限,更偏向于采用高性价比的小规模GPU集群,来构建多用户共享的深度学习研发平台。在该研究背景下,如何提高GPU平台的资源利用率,进而提高深度学习任务的吞吐量,是极具现实意义的研究方向。本文紧紧围绕上述挑战,基于小规模GPU集群平台对深度学习任务进行了广泛的评测与分析,并在此基础上提出了一系列调度策略。本文的主要工作和创新点包括:1.考虑到深度学习研发平台需要处理各种复杂的深度学习任务,因此本文首先对深度学习任务进行详细的分析与评测。本文从网络结构、计算流程、通信模式、不同框架实现、各种应用超参数和分布式参数等多个方面对深度学习任务进行梳理和总结,并基于一个小规模GPU集群对典型深度神经网络进行评测,从任务吞吐率、GPU资源利用率、显存占用、GPU扩展性和GPU局部性等多个角度进行量化分析,并作为后续调度算法设计的重要基础。2.基于深度学习任务的评测与分析,提出了一种基于用户QoS感知的动态调度框架GENIE。该框架主要包含离线评估模块和在线调度模块。通过轻量级离线评估器,GENIE可以利用深度学习任务的评测数据来构建性能预测模型。基于性能预测模型,GENIE可以在线动态地为每个任务选择最佳的放置方案,并在GPU集群上调度执行。通过在16-GPU规模的集群和大规模模拟器的实验验证,GENIE相比于其他基准算法可以实现更高的QoS保证率和集群资源利用率。3.针对基于预测的调度策略的预测精度不高和离线评估开销大等问题,提出了一种基于强化学习的在线任务调度策略。该策略采用Q-learning的算法框架,对深度学习任务的调度场景进行了建模,设计并实现了该场景下的状态空间、动作空间、反馈函数和更新机制等模块。基于对任务执行性能的在线监控和反馈,学习引擎可以自主进行学习并不断调整任务调度决策。在GPU集群上的实验表明该算法在任务平均标准化吞吐率和整个任务队列完成时间上都有显著提高。由于强化学习方法较好的在线自适应特性,该算法更适用于长运转周期的深度学习研发平台。4.为了改善独占式任务调度策略对GPU资源利用不充分的缺点,进一步提高GPU显存资源的利用效率,提出了一种基于显存效率的GPU共享任务调度策略。该策略结合深度学习自身网络模型结构信息,计算其在不同放置策略下的计算量和显存占用,并通过显存效率这个指标来衡量不同放置策略在有限显存资源的占用下所支撑的计算规模。在显存效率的基础上,提出了一种启发式调度算法,来实现多任务对GPU资源的共享,进一步提高系统资源利用率和任务的完成速率。