论文部分内容阅读
方面级情感分析的关键点在于如何根据给定的方面词和上下文句子来构造与方面词相关的上下文句子表示,基于注意力和循环神经网络的方法可以根据方面词的表示端到端地计算给定的方面词与上下文句子中各部分的相关性,取得了优异的表现。然而,现有的研究工作也存在一些不足之处:一方面基于注意力机制和循环神经网络的方法无法建模同一个句子中多个方面词之间的联系,同时现有的注意力机制在进行上下文选择时也存在着容易引入噪声等问题;另一方面,现有的方面级情感分析任务中使用的标注数据集规模比较有限,这一点制约了基于深度学习的研究工作该任务中的进一步开展。针对上述不足,本文一方面尝试对主流的基于注意力机制的工作进行改进以及进一步地尝试不同的上下文选择机制;另一方面尝试使用迁移学习的方法来缓解标注数据规模不足的问题,最后通过在基准数据集上的实验验证了本文的工作的有效性,本文的主要工作有:1.针对现有的主流的基于注意力机制和循环神经网络的方面级情感分析的研究无法建模出现在同一句中的多个方面间的联系以及没有考虑全局表示的问题,本文将全局句子表示引入到现有的注意力机制,同时针对性地设计了情感极性数目预测这个辅助任务用于引导句子表示的学习,并进一步地提出了基于注意力机制的多方面融合来建模出现在同一个句子中的多个方面之间的联系,在Sem Eval2014数据集上的一系列实验结果表明了这一方法的有效性。2.针对现有的注意力机制中容易引入噪声且后续的研究工作仍是在注意力机制的框架下进行进一步地改进,因此无法从根本上解决注意力机制的问题,本文提出了一种新的基于层次门限机制的选择层结构,同时将词性信息和位置信息引入到层次门限机制中以增强模型的选择能力,进而提出了层次门限记忆网络,使用层次门限机制作为选择层来构建与给定方面词相关的上下文记忆表示,最后使用卷积神经网络进行情感极性预测,在Sem Eval2014数据集和Twitter数据集上的一系列实验结果表明了这一方法的有效性。3.针对现有的方面级情感分析标注数据集规模不足的问题,本文尝试使用迁移学习来缓解这一问题,通过将经过海量文本数据预训练的语言模型引入到方面级情感分析中,并在此基础上结合领域再训练技术进一步提升了模型表现,在Sem Eval2014数据集和Twitter数据集上的一系列实验结果表明了这一方法的有效性。