论文部分内容阅读
由于机器学习在文本情感分类任务中的突出表现,基于机器学习的情感分类方法已经成为文本情感分类的主流方法。在基于机器学习的情感分类方法中,文本特征提取和训练分类模型是两个关键问题,能否从文本中提取有效特征并训练优秀的分类模型直接决定了文本情感分类的效果。大部分研究者主要关注于文本中简单的词汇特征,而忽略了在许多自然语言处理任务中非常重要的文本语义特征。此外,传统的机器学习算法建模时使用的函数相对简单,属于浅层次学习,这类算法对复杂函数建模时表达能力受限,模型泛化能力差。同时,传统的情感分类方法很多都是针对小数据集进行测试,这些方法没有考虑太多并行效率问题,无法用于真实生产环境中海量数据的处理,实用价值较低。为了解决基于机器学习的情感分类方法中存在的问题,本文总结现有的研究方法,从以下几个方面进行了研究:(1)本文提出了一种基于语义特征和深度学习的情感分类方法。为了更加充分地利用文本中的语义特征,该方法基于Word2vec提取文本语义特征,然后以文本语义特征作为输入,训练基于深度学习的多层感知神经网络分类模型并对文本进行情感分类。基于深度学习的分类算法能够更好的刻画样本的规律,可以解决传统机器学习算法表达能力受限的问题,并且可以提高模型的泛化能力。(2)本文提出了一种基于特征融合和模型融合的情感分类方法。首先从不同的角度提取词汇特征和语义特征,然后分别使用梯度提升决策树算法(GBDT)和多层感知神经网络分类算法(MLPC)训练情感分类器,最后以各分类器的输出作为逻辑回归算法(LR)的输入训练情感分类器并对文本进行情感分类。该方法解决了文本特征单一和单一模型表现力有限的问题。(3)本文采用基于内存的并行计算框架Spark实现了本文提出的两种情感分类方法。基于Spark实现的情感分类可以充分发挥Spark集群的资源优势,提高计算任务的并行度,实现海量数据的处理,从而增加情感分类方法的实用价值。本文采用开源数据集评估了本文提出的两种情感分类方法,实验结果验证了这两种情感分类方法的有效性。