随着深度学习的兴起,大量数据的产生,包括文本、语音、图片等等,如何从大量数据中学习到有用的特征是当前最重要的组成部分。在自然语言处理领域,学习文档表示对精确理解自然语言至关重要,同时可以把其运用到各种自然语言处理的任务中去,包括文本分类,文本相似度匹配,命名体识别等等。本文围绕循环神经网络与BERT模型开展研究,对这两个网络架构的输入或者输出进行优化,提高模型的泛化性能,并在文本分类任务上进行研究,验证分类算法的扩展性。本文的成果与主要工作如下:1.针对长短期记忆网络训练文本分类任务效果不佳,为更好地学习文档表示训练文本分类设计了带池化与dropout的长短期记忆网络来进行文档的表示,其中池化操作可以保留主要的特征同时减少参数和计算量,同时获得定长输出;dropout也对有监督的学习文档表示起到防止过拟合,提高泛化性能的表现。对比词袋模型、卷积神经网络、长短期记忆网络等模型,在四个数据集上优化后的长短期记忆网络比直接利用长短期记忆网络在准确率上至少提升0.2%。2.针对目前在自然语言处理领域表现较好的BERT模型存在输出层softmax产生类别的概率分布过于单一;同时受mixture softmax的启发,对BERT的softmax层进行优化,改用改进版本的mixture softmax,利用集成的思想对每个softmax的输出进行加权求和,在四个数据集上的效果比BERT-Base模型的准确率提高1%以上。