文本分类一直都是信息处理领域极具价值的问题,随着大数据时代的到来,这项技术也渗透到了人们生活的方方面面。近年来,深度学习依赖对文本语义的理解能力在短文本分类问题上取得了较大的进展,但在长文本任务上的效果却不甚理想。长文本由于词数的丰富,很多场景依靠传统的词袋模型和机器学习模型进行建模已经可以取得不错且稳定的成绩,尤其是更依赖关键词特征（如新闻主题分类）的场景。因此,本文尝试在传统方法的基础上结合深度学习技术以提高模型对长文本语义的理解能力进而提升分类表现。本文通过对当前长文本分类领域的技术进行研究发现,注意力机制对解决长文本任务的长依赖问题非常有效,可以通过对长文本进行分层处理,并在各层都应用注意力机制,以提高模型对文本各层次关键语义特征的提取能力。同时,相较于卷积神经网络,循环神经网络自身结构天然适合对于长序列语义的理解,通过使用GRU（门控循环单元）等变体也可解决其梯度爆炸的问题。但由于长文本的信息过载,深度学习模型在应用时依旧有其局限性,为此,本文提出将深度学习模型中得到的句子级文本语义表示应用于传统机器学习模型,并通过与基于TF-IDF的词袋模型表示模型进行融合,综合各模型优点,提高了在长文本分类任务上的表现。最后,本文在Fin Tech数据集和达观数据集上对模型进行实验,证明了本文提出的模型在对比主流的方法是有其优势的。在长文本上的语义理解上,注意力机制和循环神经网络可使其提升明显,将句向量与传统机器学习模型结合也可有不错的效果。此外,在基学习器优秀且有足够差异的情况下,集成学习对长文本分类任务有足够的有效性。最后,本文提出的模型具有较好的泛化性能。