论文部分内容阅读
关系分类是自然语言处理领域的一个子任务,它是很多其他自然语言处理任务的重要一环,如信息抽取,问答系统,知识库构建等。过去的方法大多将关系分类任务看做一个单纯的多分类任务,没有考虑类别与类别之间相似的问题。对于同种语义关系不同实体方向的两类关系来说,由于语义关系相同,他们的表达往往是相似的,因此这两类关系很容易混淆。为了解决同种语义关系不同实体方向的关系类别容易混淆的问题,本文提出了一种融合区分度信息的神经网络用于关系分类,在模型中引入了区分度信息用来区分语义关系相同实体方向不同的关系类别。本文通过实体词向量相减的方法将空间上的实体方向转化为数学上的向量的方向,并把实体词向量相减的结果作为区分度信息。该模型分为三个模块:句子表示模块,关系区分模块和区分度融合模块。在句子表示模块本文用双向长短时记忆神经网络(Bi-LSTM)作为编码器编码句子的语义信息,将词嵌入与词的位置特征嵌入的级联作为Bi-LSTM的输入特征,没有使用任何额外的特征。在关系区分模块,将实体词向量相减的结果作为关系区分模块的输入,经过非线性变换后得到区分度特征。区分度融合模块将句子表示模块的输出与关系区分模块的输出相融合。本文采用了两种融合方式进行特征融合。一种是基于级联的特征融合方法,该方法将句子表示模块中第二个实体词对应的前向LSTM的隐层状态与第一个实体词对应的后向LSTM的隐层状态输出,然后与关系区分模块的区分度特征级联,将级联后的特征送入到分类器中进行分类。另一种是基于卷积神经网络的特征融合方法,将句子表示模块的每个词对应的输出与关系区分模块的输出并联作为卷积神经网络的输入特征,并在池化层用最大池化和以实体位置为界的分段池化两种池化方法进行实验。除此之外,本文使用交叉熵函数与变形的max-margin函数相加的新函数作为模型的损失函数,并用交叉熵函数与我们提出的新的损失函数分别进行实验。最终模型的实验结果表明本文提出的区分度特征在区分容易混淆的关系类别上效果明显,本文提出的新的损失函数能够在一定程度上提升模型的性能。最终,本文所提出的模型在不使用任何额外特征和NNLP分析工具的情况下得到了84.8%的F1值。本文的贡献如下:(1)发现了关系分类任务中同种语义关系不同实体方向的关系类别容易混淆的问题,提出了区分度这一概念并将它用于解决同种语义关系不同实体方向的关系类别容易混淆的问题。(2)将变形的max-margin函数与交叉熵相加作为新的损失函数,本文提出的新损失函数在一定程度上提升了模型性能。(3)比较了两种不同的融合方式对关系分类的影响并分析了原因。(4)在关系分类的标准数据集SemEval-2010 Task 8上进行实验,实验结果表明本文提出的区分度特征能够有效提升关系分类模型的性能,与Bi-LSTM基线模型相比,加入区分度特征后使模型的F1值提升了4.4%,在没有借助任何额外特征和NLP工具的情况下,本文所提的模型实现了 84.8%的F1值。