文本分类技术已经被广泛地应用在内容审核、广告过滤、情感分析、文本标注和虚假信息鉴别等领域。该技术的核心在于文本特征表示,相较于传统的基于词袋模型的文本表示方法,深度学习的文本表示方法词嵌入模型不仅能够克服文本特征“维度灾难”的问题,还能够挖掘出领域专家无法发现的特征。因此,基于深度学习的文本分类技术研究成为当前自然语言处理领域研究的热点。长短期记忆网络(Long Short Term Memory Networks,LSTM)是文本分类中的主流深度学习模型,但是当前基于LSTM的文本分类方法存在信息冗余和梯度消失的问题,影响文本分类的效果。为了解决以上问题,本文在LSTM中引入注意力机制,提出了一种注意力概率的计算方法用于词向量隐状态的权重分配,并据此生成了一种新的文本特征表示进行分类,进而提出了 Attention LSTM模型和Attention Bi-LSTM模型。改进模型通过提高文本中重要单词的影响力并降低其它单词的影响力,保留文本的有效信息,提升分类效果。本文将改进模型应用到搜狐新闻、法律文书、Reuters News、IMDB影评等四个公开语料上进行实验,实验结果表明,Attention LSTM和Attention Bi-LSTM较对比模型的分类效果有一定提升,证明了模型的可行性。此外,本文还根据集成算法中多个模型共同决策优于单一模型决策的思想,针对投票模型存在的忽略基础模型分类性能优劣的问题提出解决办法。本文集成了 Attention Bi-LSTM、KNN、朴素贝叶斯、支持向量机等模型构成基础模型层,采用CART决策树作为高阶分类模型构成Bagging层,采用软投票算法构成投票层,进而提出了由基础模型层、Bagging层、投票层所构成的层次集成分类模型。该模型通过训练高阶分类模型来学习基础模型的预测结果,进而降低模型预测的误差。本文将层次集成分类模型、投票模型以及基础模型应用到搜狐新闻、法律文书、Reuters News、IMDB影评等四个公开语料上,实验结果表明,层次集成分类模型较最优基础模型Attention Bi-LSTM的分类效果有了进一步提升。