论文部分内容阅读
在自然语言处理领域,实体间关系抽取技术通过检测非结构化数据中实体对间包含的关系类型,生成对应的实体-关系三元组结构化数据,它能极大提升后续信息抽取任务的工作效率,因此一直受到研究者的关注。传统有监督关系分类模型主要依赖的高质量训练数据集通常难以获取,因此基于远程监督的方法被广泛运用于实体关系抽取任务,该方法在少量已标注数据的基础上,快速生成大规模现实语料的关系标签。然而与有监督数据集相比,由于模板知识库与现实语料存在样本分布偏置,远程监督数据集中包含一类被称为Unknown Unknowns(UUs)未知错误的噪音数据。UUs的特点为模型无法依据常规的评测指标定位其存在,但从人类常识性知识的角度分析,其标签在现实环境中可能完全失实。若此类噪音数据存在于训练集中,无疑会干扰深度学习模型最终的分类效果。与此同时,现实语料无法避免的样本分布不均问题,则会导致深度神经网络对小样本学习欠拟合等问题,无法真实获取各关系类型的特征信息。目前,有关实体关系抽取任务的研究,着眼于分析实体对所在自然语句的上下文信息,并利用强化学习或对抗生成等学习策略,使得分类模型具有识别干扰信息的能力,从而降低噪音数据对分类效果的影响。但是,一方面通过包含噪音的验证集,模型无法证明其挑选的干扰信息是否为真实UUs噪音;另一方面,有关自然语言的理解高度抽象,深度学习模型极易忽略文本歧义等现象。针对文本领域存在的样本分布不均衡现象,相关问题的讨论还处于积极探索阶段。为解决上述UUs噪音与样本分布不均问题,本文实现如下工作:1.提出一种基于实体对上下文的注意力机制,粗粒度筛选潜在UUs噪音。本文关注到模型常用的词向量信息过于单一且与文本内容无语义关联,因此,我们提出一种基于上下文语义的实体对向量,将其与隐含特征组合为句子级别的权重信息,提升句中与关系类别相关的关键词贡献权重,降低噪音数据对分类效果的影响,筛选潜在UUs数据。2.设计一种基于人机交互的实体关系抽取去噪框架,半自动化清洗远程监督数据集中的噪音数据。为低成本高效率识别UUs噪音,我们设计了一套人机交互半自动化噪音清洗框架,该框架由三个模块组成:粗粒度潜在UUs噪音定位模块,细粒度UUs噪音清洗模块和深度学习分类模块。首先利用粗粒度定位自动筛选潜在UUs,再以众包标注进行细粒度UUs清洗,通过粗细粒度模块的相互协作,实现了机器模型与人工的半自动化交互,达到去噪成本与质量的平衡。3.实现一种基于小样本学习的实体关系分类模型,提升小样本类别分类准确率。针对真实数据通常无法避免样本分布不均的问题,本文提出基于小样本学习的关系分类模型。该模型将数据集中样本分布较少的关系类型定义为不同标签的小样本类别,根据各自的小样本数据集学习得到对应的原型模型,降低多样本类别的贡献权重,消除样本分布偏置对分类结果的干扰。综上,去噪框架解决了远程监督数据集中隐含的噪音数据问题,为实体关系抽取任务提供数据支持。因各模块策略和模型的独立性,使得框架具有良好的可移植性,可用于其他任务的去噪工作。基于小样本学习的分类模型则降低了真实数据样本分布不均的影响,为文本领域解决样本分布问题提供思路。