学术论文由于其学术性、专业性和创造性,因此使用关键词检索做不到真正细粒度的区分,并且不同论文间的侧重点也并不相同,如何快速、准确地获取相应研究领域内最有价值的论文是一个十分重要的问题,因此针对学术论文的细粒度文本分类研究就显得十分有价值。文本分类方法一直是自然语言处理领域的重要研究内容,它是文本数据挖掘和文本信息检索等领域的基础任务。文本分类方法通过设计精巧的模型,让模型在学习海量复杂的文本数据后,能够充分理解文本的复杂含义,最后根据任务需求进行文本分类整理,从而做到让计算机能够代替人来对文本进行分类。文本分类任务根据任务需求不同,可分为文本主题分类和文本结构分类。目前,针对短文本的文本分类相关理论及技术已经较为成熟,但长文本由于句子长度较长、上下文相关性强,针对短文本分类的传统文本分类算法已经不能有效的对长文本进行分类。本文的主要研究内容是设计了一种基于双向编码的语义表示模型（BERT）的学术论文分类模型并对BERT模型的架构及编码方式进行修改。BERT模型因其庞大的参数量以及复杂的模型结构都严重限制了模型的计算效率和应用场景,且只使用BERT模型进行文本分类不能满足所有任务需求。本文在对BERT模型进行了细致的研究后,针对BERT模型进行文本分类任务提出了改进优化方法。本文的主要研究内容如下:首先根据BERT模型更为强大的特征表示能力,基于BERT与CRF（条件随机场）模型搭建了主题提取模块,代替传统的Bi LSTM（长短时记忆网络）-CRF模型进行主题提取;接着根据双向门控神经网络模型（Bi GRU）能够考虑上下文语义特征的特点,使用Bi GRU模型作为分类器,取代BERT模型根据softmax层进行分类的方法;之后根据学术论文数据集特点及任务需求,设计了文本长度的处理方法。最后为了提高模型保留位置信息的能力和模型性能效率,对模型进行编码方式修改以及在模型中引入知识蒸馏等优化方法。本文经过实验验证,证明了本文设计的基于BERT预训练模型的文本分类模型,对于学术论文起到了良好的分类效果。