文本分类作为自然语言处理领域的基础课题之一,一直以来都有着重要地位。目前在众多基于深度学习进行文本分类的方法中,以Transformer模型为基础的方法最为热门,其中一个最突出的例子就是BERT模型。Transformer模型进行文本分类能够取得良好表现的关键就是它的自注意力机制,该机制保证了模型能够从长短不一的文本中提取到有用的语义信息,进而实现文本分类。本文对BERT模型的随机生成掩码生成机制做出了改进,提出了双层掩码生成模型,具体做法为,在内层训练语言模型,将输入语言模型的文本做掩码标记后输出到外层进行进一步训练;外层利用强化学习决定最优的掩码策略,并将得到的掩码策略输入到内层语言模型指导预训练。这样循环保证语言模型能实时更新掩码策略,并且生成的都是当下最优的掩码,进而增强模型的提取信息能力,提高分类效果。此外,本文还对Transformer模型的多头注意力机制做出了改进,以提高Transformer模型提取信息的能力,提高文本分类的效果。具体做法为,利用Drop Head对Transformer模型的注意力头进行修剪,修剪后的Transformer模型更为稳定,并且能够将注意力关注到更多的子空间中,增强模型获取信息的能力,进而提高文本分类的效果。