近年来,随着互联网高速发展,越来越多的产业加入到了信息化群体中,如电子商业、电子阅读、音乐播放、新闻媒体等,而这些产业早已融入到人们的日常生活和娱乐中。人们在享受互联网带来便利的同时,大多都习惯留下自己对产品和服务的评论或意见。例如,酒店的评价包含了大量的用户反馈信息,而这些信息具有较大的研究价值。所以,如何从大量的评论中快速提取出情感信息,并对不同情感极性的评论进行分类,已成为大部分互联网服务面临的重大难题。目前,传统的语言处理模型具有参数量大、处理耗时长的缺点,并且在类似酒店评论长文本分类问题中,不易获取有效的上下文信息。然而,基于层次网络结构的语言模型,通过分层依次处理词、句子和文档,并将多注意力融合到其中,从而大大提升了文本分类的性能和效率。本文具体研究内容如下:1.中文分词是文本分类中不可缺少的部分,例如常见的Jieba分词器倾向于分出更长的词。为了提高分词效果,本文将Jieba分词和Hanlp分词进行合并,从而提高中文分词的准确度。然后,针对传统词嵌入过程中在词性标注的基础上给文本中的程度副词赋予权重,并与词向量进行融合,得到最终的词嵌入。通过实验验证,本文采用的多分词器法及程度副词融合词向量法相较于传统的词向量法具有较好的性能。2.针对传统语言模型在编码过程中会忽略副词对情感特征的影响,本文对分词结果中的程度副词赋予权重,并将该权重与词向量相乘作为编码器的输入。同时考虑到文本中各词语的相对位置关系对上下文语义的影响,将相对位置编码融合到输入中,从而更加精确地提取文本的情感特征。另外,针对输入样本数量过大会导致时间成本和空间成本过高的情况,本文采用了词嵌入共享压缩的方法,经实验证明,在一定程度上,降低了词嵌入时间和空间的消耗。3.常见的语言模型中,卷积神经网络在处理短文本分类任务时效果显著。然而,互联网中评论长短不一,当文本样本较长,卷积神经网络的效果就不如循环神经网络好。因此,在循环神经网络的基础上,本文采用层次性网络对酒店评论进行特征提取,将文本特征提取的过程分为词级和句级两部分。其中,编码部分采用Bi LSTM,解码部分采用多头自注意力,不仅考虑到上下文对目标文本的影响,还考虑到关键词对文本的重要性,该方法相较于传统的情感词典法、HAN以及HAHNN在分类精度上均有提升。