随着自然语言处理领域的发展,Transformer语言模型已经被广泛应用于各种自然语言处理任务中。Transformer中使用了一种特殊的注意力机制的结构,被称为多头注意力机制。其目的是为了使的不同的头提取到不同的子空间信息,但是Transformer中没有设计任何结构去保证多头注意力机制可以有效的工作。研究也表明,在很多时候Transformer的多头机制并没有发挥作用,为了解决这个问题,本文提供了一种基于集成学习的多头注意力机制分歧正则化项的方法。通过分歧正则化项的方法迫使多头注意力机制不同的头提取到不同的特征信息,从而提高Transformer语言模型的性能。我们的分歧正则化方法是基于“偏差-方差-协方差”分解的。在集成学习中基学习器之间的多样性,会影响模型的泛化误差。我们将Transformer中的每一个头看作为一个基学习器,通过在训练过程中减小头之间的协方差,从而增强头之间的多样性,迫使模型提取到更加多样化的特征。本文在翻译任务上验证了分歧正则化方法的有效性。相比于原始的Transformer模型其可以有效的提升机器翻译任务的效果。实验主要分为三个,第一个实验中,我们将我们所提出的方法分别应用在多头注意力机制的子空间和注意力机制输出阶段,发现在输出阶段使用分歧正则化方法可以快速有效的提升性能。第二个实验中,我们研究将多头注意力机制分歧正则项分别用在Transformer的三种多头注意力机制中。第三个实验,我们研究堆叠结构的中、低、高层对实验结果的影响。实验结果表明在多注意力机制的输出阶段使用分歧正则化方法是最优的,在Transformer的较高层次使用此方法,实验结果改进最为明显。