论文部分内容阅读
文本分类是自然语言处理领域的经典任务之一,目标是识别出文本所属的类别。文本分类在邮件检测、情感分析和主题标记等领域都有广泛的应用。然而,好的文本表示方法才是提高文本分类等自然语言处理任务性能的关键。传统的文本表示采用词袋模型或向量空间模型,这不仅失去了文本的上下文信息,还面临着高纬度、高稀疏性的问题。近年来,随着数据量的增加和计算性能的提高,使用深度学习技术对文本进行表示和分类受到极大的关注。采用卷积神经网络、循环神经网络和具有注意机制的循环神经网络等对文本进行表示,然后进行文本分类等自然语言处理任务,都比传统方法有更好的性能。本文设计了两个基于深度神经网络的句子级文本表示与分类模型。具体如下:(1)基于双向循环和卷积神经网络的文本表示与分类模型-BRCNN。BRCNN的输入是句子中的每一个词对应的词向量;在使用循环神经网络来提取句子中的词序信息后采用卷积神经网络来提取句子的更高级特征;卷积操作之后使用最大池化操作来获得句子向量;最后采用Softmax分类器进行分类。循环神经网络能够捕捉到句子中的词序信息,而卷积神经网络能够很好的提取出有用的特征。在8个文本分类任务上的实验表明:BRCNN模型能够得到更好的文本特征表示,获得与现有技术相当或更高的分类正确率。(2)基于注意机制和卷积神经网络的文本表示与分类模型-ACNN。ACNN模型使用具有注意机制的循环神经网络获得上下文向量;然后使用卷积神经网络提取更高级的特征信息;采用最大池化操作得到句子向量;最后,采用Softmax分类器进行文本分类。在8个文本分类基准数据集上的实验表明:ACNN提高了模型收敛的稳定性,能够比BRCNN更好的收敛到一个最优或局部最优解。另外,本文还设计了一个双向注意的注意机制。双向注意的注意机制是通过对前向循环神经网络和后向循环神经网络都使用注意机制得到前向上下文向量和后向上下文向量,然后进行级联得到上下文向量。本文的ACNN模型中的注意机制层使用的即是双向注意的注意机制。