关系抽取作为信息抽取技术的一项关键环节,在自动构建知识图谱、自然语言处理领域具有重要的理论意义和广阔的应用前景。为多种应用提供重要支持,主要表现在智能问答系统和智能化搜索场景中。其深厚的实用价值备受学界和业界的广泛关注,涌现出众多的理论成果和应用产品。远程监督关系抽取技术通过外部知识库作为监督源,自动标注语料数据,节省了人工标注成本,成为了关系抽取的研究热点。由于远程监督的强烈假设前提,导致回标语料中存在大量的噪声数据。因此,目前的研究重点主要集中在如何削弱噪声数据的消极影响上。本文基于Transformer预训练语言模型,提出了两种注意力增强包表示的远程监督关系抽取模型,以此缓解噪声的影响,具体如下:(1)提出了基于Transformer预训练语言模型和实体注意力机制的关系抽取模型DISTRE-EA。关系抽取任务意在识别两个实体所要表达的关系,所以实体表示的指导作用不可忽视。在发挥语言模型优势的基础上,用实体本身的信息指导注意力。通过计算实体表示与包内部每个句子之间的相关特性,深入挖掘二者的语义相似度,筛选预训练模型得到的句子嵌入表示信息,降低噪声句子影响的同时有助于优化包表示。相关实验数据表明:DISTRE-EA优于主流方法,有效验证了模型的抽取效果。(2)提出了基于Transformer预训练语言模型和句子级自注意力机制的关系抽取模型DISTRE-SA。由于包内部的句子嵌入表示是通过预训练模型分别获得的,彼此之间缺乏紧密的关联性。为了打破包内部互相独立的句子表示,我们在句子级别上使用自注意力技术。自注意力不仅可以捕获输入序列的相互依赖关系,并且多头注意力能够丰富不同表示子空间的隐含信息。使用自注意力对句子嵌入表示进行变换后,结合选择性注意力进一步增强了包表示。在NYT数据集的结果表明:DISTRE-SA相比原方法DISTRE具有较高的抽取准确率。