深度神经网络的分布式训练包含模型并行,数据并行等不同策略。传统模型并行流水化策略将深度神经网络按层分配到不同计算设备上,通过重叠计算时间与通信时间减小分布式通信的开销,但是该策略将神经网络模型中的分支和捷径与其他神经网络结构看作一个整体,在切分模型时难以保证结果的均匀分布,导致训练迭代时间增加。数据并行通常使用同步法进行计算设备间模型参数的更新,在每个迭代周期的末尾,参数服务器会与各计算设备进行通信以获取梯度,该过程受限于计算设备中迭代时间最长的设备,会出现拖累现象,影响模型的迭代时间。本文对传统模型并行流水化策略进行改进,将神经网络进行图抽象,对进行流水化模型并行的神经网络模型进行均匀拆分。通过对神经网络层的计算量和通信量进行建模,改进策略使用基于本地搜索的遗传算法对拆分结果进行择优,保证各代分割方案不与神经网络的执行顺序冲突。择优后的分割方案可令各模型分片所需计算时间较为平均,同时尽量减少了模型分片间的通信时间开销。与传统策略进行对比的结果表明,对于特定深度神经网络,本文提出的改进策略求解出的模型分割方案能够令同步流水线模型并行的迭代时间缩短5～19%,异步流水线模型并行的效率提高最多15%,同时可减少最高35%的网络通信。本文针对设备性能不均衡导致同步数据并行迭代时间增长的问题,提出了基于设备性能差异的混合并行策略。该策略使用分组混合并行,在组间使用同步数据并行,组内使用流水化模型并行,通过在组内依据计算设备性能分配模型分片减小低性能设备对迭代时间的影响。策略依据设备计算能力进行组内流水并行的模型分割,有效提高组内模型并行的效率,减少了迭代时间;通过缩小组间迭代时间差距,减少训练同步阶段的等待时间。实验结果表明,本文提出的混合并行策略相比单纯同步数据并行策略,在计算设备性能存在差异的情况下可将全局迭代时间平均缩短约21%。