随着机器学习领域的不断发展,用于机器学习的模型变得越来越大,用于训练的样本数据量不断增多。这两种变化导致了单台计算机在执行机器学习任务时,所承担的计算负载不断增大,完成训练所需要花费的时间也不断增加。同时,庞大的模型和数据量,可能会引发单台计算机的资源不足的情况,导致任务无法正常执行。为了解决这些问题,研究者们引入了分布式机器学习的概念,使用多台计算机组成分布式计算机集群,扩展计算机的计算能力和储存空间。在此背景下,本文尝试构建小规模的分布式计算集群,研究机器学习模型在集群中的部署与训练,期望通过集群来加速模型的训练,并让无法在单台计算机中运行的大模型和大数据集的机器学习任务能在集群中止常运行。同时,在部署任务时,通过研究构建合理的调度策略,达到充分利用集群中各种资源的目的。本文提出两种分布式任务的调度部署方法。其一,针对数据并行,本文结合集群的资源分布情况,和任务的资源需求情况,为寻找匹配任务需求资源最合适的节点,设计了一种基于皮尔森相关系数的任务分配方案。其二,针对模型并行,当其按顺序计算神经网络层时,由于所有节点中只有一个节点正在运行,其他节点在等待数据的传入,从而本文提出一种组合的模型并行任务部署方式,在某些节点正在等待数据时,引入其他计算任务来利用空闲资源。首先本文对集群进行搭建,引入Docker技术,利用Docker容器良好的隔离性,让依赖不同环境的机器学习任务能够无障碍地部署到集群的任一节点上,并在集群中加入节点状态信息收集机制,作为分布式调度策略的判断依据。然后以PyTorch平台为例分析了分布式机器学习任务对计算机各类资源的需求情况,并设计了一种测试统计方法,获取机器学习任务对各类型资源的需求量。最后在各种收集的信息的基础上,设计调度方案。对于基于皮尔森相关系数的数据并行方案,本文测试了不同任务在不同集群状态下的任务分配情况,结果表明,其在加速训练的同时能较好利用集群资源。对于组合的模型并行方案,本文测试了不同模型按时间对半拆分的情况下组合,结果表明,其能大幅减少总体的训练时间。