现如今随着科学技术的发展,网络上的数据越来越多,尤其是随着网络的不断发展,网络上的信息量也急剧增长,信息的格式(视频、文本、音频等)也变得多样化。其中,文本信息对人们日常生活非常重要,怎样才能从杂乱无章的文本中获取有用的信息变得困难。高维的文本数据增加模型训练的复杂度,给大数据知识工程中信息的提取带来难度。大数据知识工程中最常用的文本处理方式是文本分类,通过文本分类技术高效地提取文本中隐藏的信息变得尤为重要。在1957年,美国科学家H.P.Luch第一次提出了文本分类技术,之后文本分类技术一直都是数据挖掘领域研究的重要课题,通过多年研究发展,已经研究出了很多有效的文本分类方法,而且很好地应用在实际生活中。本文基于深度学习中发展较好的自动编码器以及其无监督的特征学习方式来研究上述问题。(1)针对以往对于TFIDF的研究不足,提出了一种新的TFIDF计算文本特征词权重方法,将提出的新TFIDF与传统的TFIDF方法和张玉芳等人改进的TFIDF方法进行对比,实验证明提出的改进的TFIDF方法能更准确的计算特征词权重。(2)针对传统自动编码器特征提取效率不高问题,提出了一种新的混合自动编码器模型,先用两层堆叠的稀疏自动编码器初步学习文本特征,学习到的特征矩阵作为卷积神经网络的输入,进一步对文本特征进行学习,减少模型训练参数,提取更加准确的文本特征,降低文本维度。最后将文本特征送入SVM分类器,得出分类结果,将提出的混合模型和单一的稀疏自动编码器在分类准确率上进行对比分析实验,实验证明提出的混合模型提高了特征提取的效率和分类准确率。(3)为提高混合模型训练效率,减少混合模型训练时间,将混合模型训练过程放在Spark平台上进行分布式处理,并与单机运行处理文本数据的效率进行对比。实验证明使用Spark平台并行化处理降低了混合模型的训练时间,提高分类效率。