文本分类是许多自然语言处理应用中的一项基本任务。面对互联网上呈爆炸式增加的文本资源,如何利用文本分类技术,合理高效地对这些资源进行管理以及分类,挖掘其中潜在的商业价值,变得越发重要。近年来,深度学习在特征提取和表征方面有了巨大的进步,并且在自然语言处理的很多领域上取得了令人满意的成绩。尤其是是与之前模型结构完全不同的Transformer模型的提出,在机器翻译领域取得了耀眼的成绩,引起了相当大的反响。Transformer模型利用自注意机制解决语言表征的长期依赖关系,并通过残差结构来增加模型深度,提高模型在大规模数据上的语言表达能力。然而,Transformer模型在文本分类任务中仍然存在诸多问题。本文从模型结构改进与模型蒸馏两个角度进行了研究。在模型结构改进方面,Transformer作为编码-解码模型,在机器翻译任务中表现优良,然而在实际实验中发现,将Transformer作为编码器直接应用于小样本数据的文本分类任务时,由于Transformer模型过于复杂导致模型容易过拟合。因此相比于传统的浅层神经网络RNN,其实验效果并不理想。针对该问题,借助由Transformer构件组成的Transformer编码块,本文提出一种“寄居蟹”策略,即将Transformer中的自注意机制替换为双向RNN。使RNN依次融合Transformer的各个构件生成新的实验模型。实验结果表明模型在任务中的分类准确率得到提升。提升主要源自多头注意力机制和多层注意力机制。在模型蒸馏方面,针对以Transformer为基本结构的深度语言表征模型BERT的模型复杂、计算开销大、推理速度慢等问题,本文构建一个多领域的自适应知识蒸馏框架。将多个领域微调后的BERT模型组合起来作为教师模型。在教师模型的帮助下,通过使用软标签和跨不同领域的硬标签,训练单一却适应于多领域的学生模型。该框架下的蒸馏目标包括:词嵌入层蒸馏,编码层蒸馏(注意力蒸馏,隐藏状态蒸馏),输出预测层蒸馏等。实验结果验证,知识蒸馏能够有效地将教师模型的概括能力转移给学生模型。多领域蒸馏能使学生模型更加具有通用性,模型在三个任务上的分类准确率进一步得到提升。通过对Transformer模型展开上述两方面的研究,我们充分挖掘了Transformer在文本分类任务中的能力,提高了当前深度模型在文本分类任务中的表现。