论文部分内容阅读
随着Web文本数据的高速增长,挖掘和分析这类文本的情感倾向,尤其是用户的在线评论,可以有效地帮助我们理解用户的习惯和公众的观点,同时也对企业和政府做决策起到了帮助。但是,中文文本情感倾向分析也存在着一些问题,一方面在采用向量空间模型来表达海量短文本的过程中,数据将面临数维灾难问题,同时向量空间模型将词语作为原子单元,并不考虑特征词之间的关系,无法很好地表达文档的上下文语义;另一方面由于评论文本数量巨大导致其情感分析过程中训练时间消耗很大,很难达到理想的效果。为了解决上述问题,本文提出了一种通用的特征提取与情感分析相结合的方法,特征提取包括底层特征提取和中层特征自主学习。其中,底层特征提取模块主要通过卡方统计量计算词的相关度进行选择而非使用全部词来建立情感词典。这一模块的意义在于将原始文本中最具有代表性的特征提取出来,降低了文本表达的维度。但是仅依靠基于词频统计的底层特征仍然无法很好的表达特征词之间的语义关系,因此本文加入了中层特征自主提取模块。这一模块的意义在于无需人为的参与,可根据输入数据自主的完成特征学习的过程。中层特征提取是一种无监督式的特征自主学习方法,以神经网络为基础完成特征词的分布式表达,结合我们提出的选择性词向量相加以及Pooling表示法,解决了特征词之间相互独立的问题。在最后的情感倾向分析模块,本文采用单隐层神经网络作为分类器并使用超限学习机(Extreme Learning Machine,ELM)算法来训练该分类器。与传统的分类器相比,ELM算法具有泛化能力好、不易陷入局部极值等优点。本文的主要贡献在于:一、在中层特征学习到的词的分布式表达之后,结合我们提出的选择性词向量相加以及Pooling表示法,对文本数据起到再降维的同时解决了特征词之间相互独立的问题。二、本文选用了超限学习机算法来构建分类器,在保证精度的同时提高了海量数据下情感倾向分类的效率。本文提出的方法在来自社交网络的中文酒店评论语料和新浪公司提供的微博数据中进行验证。实验结果表明,数据经过中层特征自主学习后的文本表达相比单一的底层特征识别精度有了小幅提高,特征维度大幅度降低,分类器网络结构紧凑且保持较高性能。