论文部分内容阅读
近几年来,随着互联网的普及与快速发展,对互联网中的文本进行分类的需求越来越迫切。文本分类是指根据不同文本的内容及其所表达的语义将未知类别的文本自动划分为不同类别的过程。本文以短文本分类为研究问题,围绕卷积神经网络模型进行改进,主要内容如下:针对文本分类中卷积神经网络模型可以与其他算法相结合从而改进模型性能的问题,提出一种基于卷积神经网络与极速学习机的混合短文本分类模型(简称CNN-ELM混合模型)。首先,该模型使用词向量构成文本矩阵作为输入数据,然后使用卷积神经网络提取特征并使用Highway网络进行特征优化,最后将误差最小化极速学习机(EM-ELM)作为分类器完成短文本分类任务。在多种英文数据集上的实验表明了CNN-ELM混合模型比机器学习模型与深度学习模型更适合短文本分类任务。针对目前使用在文本分类中的卷积神经网络普遍为浅层模型且对网络短文本的特征表达能力有限的问题,提出一种基于字符级深度卷积神经网络的短文本分类模型(简称Char Deep CNN模型)。首先,该模型使用字符级特征作为输入,这能够更有效的对短文本进行表达,再使用多层卷积神经网络结构完成特征提取工作。对于不同规模的数据集,Char Deep CNN模型能够使用不同层数的模型结构从而获取最优分类结果。实验表明,Char Deep CNN模型在不同规模的数据集上比经典深度学习模型更优秀。最后,在上述两种模型的基础上,本文针对大规模数据集提出结合了字符级特征、深层结构、极速学习机与Highway网络的深度卷积神经网络混合模型(简称Hybrid Deep CNN模型)。该模型在Char Deep CNN模型的基础上使用Highway网络进行特征优化,并使用EM-ELM分类器完成分类任务。在大规模数据集上的实验表明Hybrid Deep CNN模型能够进一步提升原有模型的性能。