融合自注意力机制的小样本学习实体关系抽取方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:n62315942
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息爆炸的时代背景下,大量重复冗余的信息充斥人们的生活,如何从众多无结构或半结构的信息里提取出高质量且精准的信息是信息抽取任务快速发展的原因之一。信息抽取在问答系统、数字图书馆等任务中都有广泛应用,实体关系抽取是其重要的子任务之一。传统和基于深度学习的实体关系抽取方法已经在实际应用中取得了较高的准确率,但其主要集中在特定领域,在面对不容易获得大规模监督训练数据集的实体关系抽取任务时,传统方法逐渐无法达到期望效果。因此本文通过小样本学习方法为资源匮乏条件下的实体关系抽取问题提供新的思路。目前小样本学习研究主要集中在图像领域,针对实体关系抽取问题中文本的多样性,本文提出了融合自注意力机制的原型网络模型,用于解决文本小样本学习的过拟合问题和噪声影响。1)本文使用原型网络(Prototypical Networks)突出解决了数据资源匮乏的实体关系抽取问题,原型网络模型鼓励从以前的经验中学习快速学习的能力,并迅速推广到新的领域。原型网络在图像小样本任务中已取得不错的结果。与普通原型网络类似,本文采用CNN神经网络将所有的实例嵌入到支持集中,通过句子级注意力机制计算实例权重并以此为依据计算每个关系的原型,最后与特征级注意力分数、峭度因子相结合,通过测量查询实例(query)与关系原型之间的标准化欧式距离,对查询实例进行分类。2)本文提出融合自注意力机制(Self-attention)的原型网络,将多头自注意力机制融入模型预训练过程中,突出语句中的关键特征信息。针对文本小样本学习中支持集小噪声可能引起关系原型巨大偏差的问题。自注意力机制有效剔除了数据集中的偏移点,使模型学习有所侧重。自注意力机制的加入也有效减轻了噪声的影响,突出了语句中关键的特征信息和特征空间中的重要维度,增加了模型的准确性和鲁棒性。论文实验部分在Fewrel数据集上对包括基线模型在内的8个模型进行对比实验,验证了本文提出的融合自注意力机制的实体关系抽取模型的有效性,通过融入自注意力机制对模型预训练部分优化后的模型与其他模型相比在实体关系抽取任务上的准确率更高。
其他文献
近年来,多智能体系统(MAS)的一致性控制问题受到了工程学、社会科学、数学、物理学等方面学者的广泛关注。相比于单系统而言,多智能体系统由于其智能体间的相互协作,可以被用来解决很多单个的智能体难以完成的任务,更具有实用性。而脉冲控制作为一种特殊的非连续控制手段,具有效率高、维护费用低、可靠性高、鲁棒性好、方便易操作的特点。已经在肿瘤治疗、保密通信技术、生物种群控制、自动驾驶设计、电力系统调节等方面得
路径规划是移动机器人领域的关键问题之一,主要涉及移动机器人在工作空间中,从当前位置运动到目标位置的可行路径搜索。路径规划问题针对的环境可以是静态的,也可以是动态的。当环境中存在动态障碍物时,路径规划算法不仅要找到最优路径,而且要保持对最优路径的跟踪,以足够高的频率实时更新其路径,以保持对周围事件的响应。本文通过对已有的D*lite规划方法的分析,对该方法中的一些不足提出了相应的改进和优化。具体包括
随着扫描测量和计算机技术的不断发展,日常的二维图像测量扫描已经不能满足人们测量的要求,点云数据是三维图像存在的比较常见的形式,相对于二维数据,它能够更加高效存储三维物体详细信息,而激光雷达、Kinect等新型的三维传感器出现,使得点云数据收集会更加的便利,三维点云应用也会越来越广泛。但是目前的点云数据仍具有无序性、稀疏性的特点,并且一些小规模的点云数据集包含的信息及数量有限,所以通过点云数据预处理
计算机硬件计算能力的大大提高和大规模数据集的不断出现,让深度学习技术也在不断迈入新阶段。深度学习系统的发展在带来机遇的同时,也给其测试技术带来了新的挑战。与传统软件相比,深度学习系统在内部结构与外部表现方面均存在很大的差异,无法直接将传统软件测试技术中的白盒测试方法应用于深度学习系统。目前,已有多个关于深度学习系统的白盒测试覆盖准则被提出,但准则在实际系统中应用的有效性尚有待检验。本文主要研究深度
近年来,重大传染病疫情因其持续时间长、扩散范围广、危害程度高、防控难度大等特点,给世界各国经济发展及人民生活带来了严重威胁,成为各国公共卫生安全防治的主要议题。而由于疫情的突发性和不确定性,人们往往无法预测疫情的发生时间与强度,因此在应急物资调度初期及应急高峰期由于物资生产与储备不足或调度不及时等原因,应急医疗物资短缺问题时有发生。同时,随着疫情强度和扩散范围的变化,传染病应急物资调度往往具有动态
避障路径规划问题在因其在移动机器人、无人机(Unmanned Aerial Vehicle,UAV)、通信路由等领域广泛应用,一直是学者们研究的热门方向。针对路径规划问题学者们提出的算法层出不穷,其中快速随机搜索树(Rapid-exploration Random Tree,RRT)算法因其规划效率高、动态环境适应性强、高维可用、概率完备等优点,在路径规划算法中占有重要地位。本文采用基于位姿空间概
本文聚焦居民日用消费品城市配送物流的长期预测,从城市发展的宏观经济环境出发,提出了能够与不同发展进程的城市相契合的居民日用消费品物流需求预测方法,可充分顺应我国地区经济发展不平衡的国情,因地制宜地为我国各城市商贸服务业物流规划提供科学可靠的思路方法和理论支撑。首先,结合物流学科理论和相关标准,严格规范地界定了“居民日用消费品物流需求”的概念,并从多方面分析相关影响因素,构建居民日用消费品物流需求预
迁移学习是指根据已有知识和新知识之间的相关性,运用已有的知识来学习新的知识。按照是否使用深度学习方法,迁移学习可以分为传统迁移学习和深度迁移学习。当迁移源域和目标域的特征空间相同且类别空间相同,但边缘分布和条件分布不同时,该问题称为域适配问题。迁移学习的目的是为了解决在样本不足、标签不全等情况下,机器学习任务如何借助外部数据进行有效学习的问题。因此,迁移学习具有重要的实际应用价值。本人独立完成了如
对遥感图像中的道路进行自动识别与分割在地理信息系统数据的更新、土地管理、城市规划、军事打击等不同应用领域都有着十分重要的应用价值。随着科学技术手段日新月异的发展,机器学习和人工智能技术在人们日常生活中的应用更加广泛,如何利用深度学习算法更加高效地解决遥感图像道路分割的难点,提高遥感图像道路分割的精度,简化神经网络训练过程中的难度已经成为各国学者们的重点研究方向。本课题基于深度学习理论并结合可见光遥
随着我国经济快速发展,人们的生活水平逐步提高,生活节奏逐渐加快,消费观念开始转变,越来越多的人选择搭乘出租车出行,出租车行业规模日渐庞大,车载GPS系统等采集设备也积累了海量的出租车行驶数据。与此同时,出现了出租车定价体系不够合理、评价与监管体系不够完善、出租车资源浪费等问题。目前行业内对出租车的经营状况的画像研究还远远不够,无法做到针对出租车的个性化分析从而采取更有效的管理措施。因此,本文尝试基