近年来,深度卷积神经网络（Deep Convolutional Neural Networks,DCNNs）在图像分类、语义分割和目标检测等计算机视觉领域中取得了巨大的进步。然而为了提高模型的泛化精度和质量,深度卷积神经网络模型的规模不断加深加宽,这使得模型的训练过程需要大量的时间和计算资源。现有的分布式并行加速训练方法主要有数据并行（Data Parallelism,DP）和模型并行（Model Parallelism,MP）,然而这些单一的并行方法受限于模型固有依赖和GPU显存限制,通信负载较高,并行收益有待进一步挖掘与提升。针对以上问题,本文提出了一种基于分组的混合并行训练方法（GroPipe）。通过整合数据并行和模型并行两种思想,充分发挥两种并行方法的优点,突破了单个GPU显存限制。利用依赖关系,动态挖掘模型运行时的并行性,通过计算与通信重叠思想有效平衡通信开销,从而加速大模型的训练过程,具体工作如下:（1）提出了一种基于组内流水线模型并行方法。针对大模型由于单GPU显存限制无法训练的难题,本文将单GPU扩展到多GPU,使用流水线模型并行方法进行高效训练。首先,提出一种模型自动划分算法,将大模型按层自动划分为多个分区,每个分区的模型放置在不同的GPU设备上。然后,将mini-batch更细一步划分为多个micro-batch数据,将其依次输入到各个分区中。接着,分析流水线并行前反向传播中各个micro-batch与各个分区之间的依赖关系,构建依赖算子,添加到模型的计算图中。最后,设计一种流水线模型并行调度算法,以流水线方式并行执行前反向传播中的各任务,充分利用各GPU算力资源,提高GPU利用率。（2）提出了一种基于组间数据并行方法。针对现有模型训练并行度有限问题,在组间引入数据并行思想和通信优化策略来进一步增加模型训练的并行度,加快模型训练速度。首先,对传统数据并行方法进行扩展,每个分组通过聚合多GPU加载模型,独立地进行组间数据并行的迭代训练。然后,提出了一种基于分区的延迟通信策略,用于深度卷积神经网络反向传播过程中的梯度张量同步,有效减少梯度张量碎片化,提高带宽利用率,实现反向传播计算与梯度同步的重叠。最后,为了进一步加速模型的收敛速度,提出了一种基于余弦和线性混合学习率衰减策略。本文所提的GroPipe是基于PyTorch框架实现的,所有实验均是在配有8个GPU的服务器进行的。实验结果表明,本文提出GroPipe方法在不损失Top-1精度的情况下有效加速神经网络的训练,与主流的DP和torchgpipe方法相比,GroPipe在Res Net-50上加速比性能分别提高了59.6%和14.3%;在VGG-16模型上加速比性能分别提高了111.2%和30.9%。综上,所提出的GroPipe可以在大模型训练中取得有效的性能提升,在学术界和工业界具有广泛的应用前景和实际意义。