论文部分内容阅读
随着科技的日新月异,大数据时代随之而来。面对海量文本数据,如何更好的利用数据辅助决策成为当下的热点问题。电影是人们日常生活娱乐的重要方式,对含有情感色彩的影评文本进行分析,可以定性地评估影视剧,从而为电影从业者与观众群体提供一系列信息参考。相较于只需考虑整句情感的文本,影评文本中包含更为复杂的细节信息。因此,从细粒度分析影评文本更加合理。基于上述背景,本文研究和设计了基于Bert(Bidirectional encoder representations from transformer)、知识图谱和TextCNN(Text convolutional neural network)神经网络的影评文本细粒度二元情感分析系统。主要工作如下:首先,爬取网络影评,构建文本数据集。本文从豆瓣网爬取大量影评文本作为知识图谱构建的基础和神经网络分类器训练的数据集。豆瓣电影网中的影评文本多为段落文本,在细粒度情感分析中具有较大难度。因此,对爬取下来的文本进行分句和分词,并进行数据清洗,使文本数据标准化。其次,对文本向量化的方法进行对比研究和分析。为使神经网络分类模型识别和记忆文本中包含的语义信息,需要将其变为向量形式。本文研究和比较了两种词语向量化的方式——word2vec和Bert,最终选用了效果更好的Bert作为情感分析系统中的文本向量化方法,利用其将自然语言转化为高维向量使用。然后,构建情感知识图谱。在对数据进行分词和分句后,使用LAC模型抽出形容词和名词,筛选后对其进行随机组对,选取一部分进行人工情感极性标注,并以其结果作为基准,利用聚类的方法对剩余部分进行自动标注,以此构建电影领域的情感知识图谱,并以此作为神经网络在抽取关键词对时的依据。之后,构建和训练TextCNN神经网络分类器,将其优化后与情感知识图谱、Bert模型结合起来,构建出影评文本细粒度二元情感分析系统。该系统对词语进行向量化之后,结合单句样本中包含的信息,形成知识向量。将知识向量输入到分类器模块中来实现对文本进行细粒度二元情感分析的目的。最后,使用实验比较系统模型的情感分析效果。实验结果表明,本文设计的基于Bert、知识图谱和TextCNN的影评文本细粒度二元情感分析系统具有可行性和有效性,情感分析的结果准确,且漏检率更低。