随着互联网的高速发展,文本数据的产生量也呈急剧增加的趋势,尤其是社交和购物等终端产生的短文本更是量多类杂,海量的短文本数据给自然语言处理研究方向提供了大量的数据,同时也给文本分类等研究带来了巨大挑战。本文致力于研究自然语言处理中的短文本分类任务,力图提高短文本分类的准确度。文本分类任务主要分为长文本分类和短文本分类。在处理短文本分类任务时,由于文本具有文本长度短、特征高稀疏、句子语义表达较差等特点,所以运用传统的基于统计语言学技术处理短文本遇到了很多困难,例如受短文本开放性强的影响,传统的词语编码不能有效的进行高质量编码;由于短文本语义性较差,所以在通过传统的文档表示模型处理短文本时往往效果欠佳等。针对短文本分类的诸多困难,本文主要从以下三个方面进行研究:(1)研究词向量编码方式,分别采用密度峰值聚类算法和吸引子传播聚类算法对词向量进行聚类。首先采用人工神经网络对词语通过词嵌入的方式进行编码,进而对文本词语编码方式进行改进;然后对训练好的词向量进行聚类处理,聚类处理旨在减少噪声干扰对分类模型的影响;最终通过聚类得到的词典库具有更佳的编码规范性。(2)研究卷积神经网络分类模型,提出一种新的双通道卷积神经网络分类模型。首先利用改进的双通道模型获取更多的语义特征,丰富语义环境;然后通过连续的卷积层和池化层进行特征降维,使得特征被压缩在低维的特征图谱内,最终改进的模型有效的提升了文本分类的准确性;(3)研究注意力机制在卷积神经网络模型上的应用,提出一种多层注意力机制的卷积神经网络分类模型。在卷积神经网络结构中分别加入词注意力层和句子注意力层,词注意力层主要对初始的句子语义信息进行权值计算,句子注意力层主要对经过卷积层抽象化的特征进行权值计算。多层注意力机制加强了模型的特征抽取能力,提升了卷积神经网络分类模型的准确性。本文从不同角度出发,设置了多组对比实验,对提出的词向量聚类、双通道卷积神经网络以及加入了注意力机制的双通道卷积神经网络模型分别进行实验验证。通过实验验证了本文提出的思想准确高效,对比同领域其他分类模型,本文提出的模型在准确率上有较为明显的提升,证实本文所做工作是有意义的,对短文本分类研究做出了一定的贡献。