论文部分内容阅读
社交网络和电子商务平台已变成庞大的公共信息集散地,海量信息数据的挖掘与价值赋能一直在进行。数据科学第四范式的提出,为深度学习在大数据和人工智能(ArtificialIntelligence,AI)领域大显身手提供了理论基础,自然语言处理(NaturalLanguageProcessing,NLP)也深受其益,迅猛发展。利用海量互联网数据对人们的情感和观点进行分析,有着重要的科研价值和社会价值。NLP中的情感分析是最活跃的研究领域之一,已经从计算机科学扩展到管理学和社会学,如市场营销、金融、政治、历史甚至医疗。观点几乎是所有人类活动的核心,是影响人们行为的关键因素,如何利用NLP技术对主观意见文本进行情感分析,被越来越多的研究人员关注。在NLP中,不同于传统语义分析,情感分析更聚焦与观点有关的情感语义,包括文本情感极性分类问题等,需要更深层次的理解和建模。另外,社交网络文本和产品评论篇幅短,针对性强,往往包含更丰富的情感信息。相较于传统机器学习算法,深度学习不依赖人工构建特征,具有特征的自学习能力,非常适合语言文本的抽象、高维、复杂等特点。本文针对短文本情感分析问题,依据不同的任务阶段、场景和粒度,研究设计有效的深度学习解决方案。论文的主要工作和成果如下:1.提出了一种基于混合词嵌入的交互注意力网络(HybridWordEmbeddingBasedInteractiveAttentionNetwork,HWE-IAN),该模型主要解决传统词嵌入对文本情感语义表达不足,以及不同领域间语义鸿沟的问题。HWE-IAN利用预训练算法BidirectionalEncoderRepresentationsfromTransformers(BERT)对传统词嵌入的情感语义表征能力予以补充,在任务预处理阶段充分挖掘文本蕴含的情感语义信息;同时融入了词性信息、位置信息和n-gram信息等多种语义特征,使模型具有更加丰富的情感语义表达;模型还使用注意力机制让各类特征进行交互,抽象更深层次的上下文内部语义关联,以提升模型的情感分类性能。最后,在两个公开英文情感分类语料上进行实验,结果证明HWE-IAN模型优于其他对比模型,有效提高了情感分类性能。2.提出了一种多头注意力记忆网络(MemoryNetworkbasedonMulti-headAttention,MAMN),该模型解决了多头注意力机制和记忆力网络的性能瓶颈,进一步充分挖掘短文本蕴含的情感语义特征和上下文内联结构关系。MAMN模型利用n-gram特征和ON-LSTM网络对多头自注意力机制进行改进,以对文本内联关系进行更深层次的提取,使模型可以获得更丰富的文本特征信息;同时利用多头注意力机制对多跳记忆网络结构进行优化,以对短文本上下文内部语义结构进行有效建模,充分挖掘高层情感语义特征。最后在三个公开英文用户评论数据集上对模型进行实验评估,结果验证了MAMN在情感分类任务中的有效性,其分类性能优于CNN、LSTM和胶囊网络架构的其它基线任务模型。3.提出了一种结合多跳注意力的迁移胶囊网络(TransferCapsuleNetworkwithMulti-hopAttention,MHA-TCap),该模型针对特定领域中有标注训练数据稀缺的问题。同时,从面向领域类别的细粒度情感分类任务入手,MHA-TCap模型探究了小数据集上性能提升的方法。模型采用深度记忆力网络和胶囊网络构造迁移学习框架,有效借助胶囊网络的迁移学习特性,将相近领域大规模标注数据蕴含的知识迁移至目标领域,提升在小数据集上的分类性能。MHA-TCap使用多维组合特征弥补一维特征注意力机制的不足,而多个基于领域类别的注意力计算层进行叠加,可以获取更深层次针对特定领域的情感特征信息。实验在一个公开中文评论数据集(包含六类领域数据)上进行,结果不仅表明该模型具有良好的分类性能,还验证了其迁移学习能力,最后证明MHA-TCap对于更细粒度面向目标的情感分类任务也有很好的泛化能力。4.提出了一种基于注意力机制的混合胶囊网络(Attention-basedAspect-levelSentimentCapsuleNetwork,ABASCap),该模型主要针对面向目标(aspect)的细粒度情感分类问题,通过研究目标与上下文之间内部关联更合理的建模方式,更加有效的挖掘与目标有关的情感语义特征。模型使用改进的多头注意力机制对n-gram特征进行加工,以捕获文本内部结构以及目标与上下文之间的语义关联;定义了局部窗口大小(LocalContextWindow,LCW)来明确目标相关局部上下文区域,提出局部上下文掩码机制(LocalContextMaskMechnism,LCM)对其进行处理,并结合多头注意力机制对目标与局部上下文的强关联进行建模;采用胶囊网络生成最终的文本表征,并根据任务特点对路由算法和激活函数进行优化。最后在三个细粒度情感分类数据集上对模型进行评估,实验结果表明ABASCap模型的性能优于其他基线模型,在结合BERT之后性能提升更加显著,充分证明其在面向目标情感分类任务中的有效性。