Transformer是一个基于多头注意力机制的深度学习架构,在自然语言处理领域具有里程碑式意义,在业界很多大规模模型上得到了广泛的应用。近年来,Transformer也成为计算机视觉领域的重要研究方向。Transformer架构引入了并行化,利用并行训练,可大大减少训练时间,提高计算效率。2021年,新一代国产申威众核处理器SW26010Pro正式推出,其配套的软件环境中已完成了对Py Torch的移植工作,但对于Transformer模型的实现和优化仍不完善,具体表现为:一是部分深度学习算子存在通用性不足等问题,无法满足Transformer模型;二是部分深度学习算子存在并行效率不高的问题,无法充分利用众核处理器的计算能力;三是缺乏关于Transformer中典型算子的性能测试和基于Transformer的深度学习模型训练测试。为了解决基于新一代申威众核处理器的Transformer模型并行优化问题。本文首先研究了SW26010Pro硬件架构特性,设计了Transformer中基础算子的并行优化算法。然后设计了Transformer中深度学习算子的并行优化算法。最后设计了大量测试方案验证了最终优化的效果。具体来说,本文的主要贡献如下:第一,本文研究了SW26010Pro硬件架构特性,设计了面向其硬件特性的Transformer中典型基础算子的高效并行优化算法,大幅度提升了基础算子的计算效率和访存带宽。实验结果表明,对于如矩阵乘等计算密集型基础算子最高可取得90%以上的计算效率,对于逐元素运算等访存密集型基础算子最高能取得接近内存带宽峰值的访存速度,使用优化后的基础算子能有效地加速深度学习推理与训练。第二,本文研究了基于SW26010Pro的深度学习算子库的开发方法,设计了Transformer中典型深度学习算子的高效并行优化算法,形成了一套完整的Transformer加速库Swpex。实验结果表明,本文所实现的Layer Norm、Softmax、Linear、MHA等算子,对比于Pytorch原始版本算子,加速效果有明显的提升。第三,本文研究了申威异构众核架构上Transformer模型的训练过程,设计了针对基础算子、深度学习算子和基于Transformer的Vi T模型在各种参数组合下的测试方法。实验结果表明,基础算子和深度学习算子均能较好利用SW26010Pro的性能;采用Swpex加速库的Vi T模型对比原始版本取得了很好的加速效果,在单节点情况下,最高可达269倍加速。