基于噪声抑制的远程监督关系抽取研究

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:lilinjun0954
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系抽取作为自然语言处理中的重要研究领域之一,旨在发现半结构化与非结构化文本中存在的关系类别信息,在知识图谱的构建、问答系统的搭建和信息检索的优化等多个场景中都有着广阔的应用前景。远程监督研究以现有知识库的三元组信息对标待处理文本,减少人力资源投入的同时亦可获得较好的分类效果,是目前主流的关系抽取手段。然而受其基于的假设影响,生成的训练语料中不可避免地引入了标签噪声,如何减少训练过程中噪声数据对关系抽取任务的影响是现阶段该研究的重点。本文针对该问题展开研究,主要工作内容如下:(1)使用一种基于强化学习的噪声过滤算法,对训练语料中的语句进行选择。通过将训练语料划分成未标记语句集、已标记正例语句集与已标记负例语句集三个部分,尝试将更多的文本信息引入至强化学习策略网络的训练中。通过设计强化学习的相关参数,将基于注意力机制的正例语句集分布式向量表示同基于未标记和已标记正例语句集的类间相似度以作为状态的一部分,奖励函数的设置则额外引入负例语句集的预测概率值,实现利用更多特征训练降噪算法的目的。实验结果表明,本文提出的改进后的强化学习算法确能提升基线模型的训练质量,同时通过多组消融实验的分析,确定不同特征对实验性能提升的影响。(2)使用一种基于多层注意力机制的噪声抑制算法,分别从语句级与语句包级两个层面,减小训练过程中分类器对噪声语句的权重分配,达到抑制噪声的目的。在包向量的训练过程中,通过将关系预测范围由原始的单一关系扩展至所有关系,同时使用贝叶斯后验概率用于权重矩阵的生成,实现权重矩阵对全关系与全句子的双重归一化表示,生成能更准确表示各向量对各关系贡献程度的权重系数。语句包级注意力机制,则是将多个语句包整合为一个包组,以包组为单位获得关系的预测值。针对现有研究未使用统一标准生成相关权重的问题,选定皮尔森相关系数计算包组与关系嵌入矩阵间的相似程度。实验结果表明,本文提出的改进多层注意力机制能优化权重矩阵的生成,提升现有噪声抑制算法的性能。
其他文献
随着信息时代的到来,网络安全变得尤为重要,数字签名机制作为保障网络信息安全的手段之一,可以解决伪造、抵赖、冒充和纂改等问题。然而对于标识密码而言,其签名公钥即用户标识,签名私钥由密钥生成中心根据系统主密钥和用户标识计算得出,即密钥生成中心的运行者也能得到签名私钥,当发生纠纷时,用户会以密钥生成中心的运行者也能使用私钥进行签名来推卸责任,所以基于标识的数字签名无法实现抗抵赖。由国家密码管理局颁布的S
学位
基于同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)的腹腔镜图像三维重建能够定位腹腔镜的具体位置,并通过重建结果反馈深度信息,以此减轻手术医生的操作难度,提高手术操作的准确性,是实现手术导航和虚拟手术的技术基础,在医疗辅助技术领域具有重要研究意义。然而腹腔镜图像普遍存在成像畸变、光源不恒定以及器官组织纹理稀缺等缺点,增加了图像特征提取与匹配
学位
冲击波在军工和医疗领域的运用广泛,爆炸武器以及体外碎石技术都需依靠高能量冲击波实现。爆炸武器的杀伤性能研究或冲击碎石技术副作用研究离不开冲击波压力的测量。但由爆炸产生的爆炸冲击波毁伤性强、峰值压力衰减速率快,对传感器的可靠性、体积和频率响应提出了高要求。本文提出使用一种制备于光纤端头的法布里-珀罗腔(Fabry-Pérot,F-P)点式压力传感器进行冲击波测量。该传感器可靠性高、体积微小、频率响应
学位
由于忆阻器能够在同一器件单元进行数据处理和存储,基于忆阻器的神经网络硬件加速器获得了广泛的关注。而忆阻器器件特性在热效应影响下会发生严重的退化,这将对忆阻器神经网络硬件加速器计算性能产生严重影响,越来越多的权重在推理的过程中被错误表示,使神经网络失去准确性。本文研究了温度对基于忆阻器的神经网络结构的影响,并展示了温度变化如何对计算精度产生影响。还提出一种热效应的快速评估模型,可以快速得到温度分布,
学位
船舶设备种类多,相互关联性强,其健康状态直接关系到船舶的航行安全。当前对船舶设备的维修主要采用定期维修和事后维修的方式,定期维修的方式不仅效率低下而且耗费资源,而事后维修无法避免事故的发生,进而影响船舶的安全航行。近年来,随着互联网技术的发展,船舶设备运行数据的采集技术越来越完善,如何利用采集到的船舶设备运行数据来提高船舶设备维护效率是一个富有挑战性的问题。针对上述需求,本文提出了一种考虑设备之间
学位
近年来,外骨骼机器人在机器人领域越来越受到研究人员的关注。它可将人类的智力和机械的力量相结合,共同完成仅靠一方无法实现的任务,在军事和民用领域,有广泛的应用前景。外骨骼机器人不仅涉及机械工程、传感、控制等传统学科,也用到信号处理、模式识别等信息学科知识,步态相位检测在其中起到了关键作用。目前,众多研究者针对步态相位检测的实时性、准确性等问题进行了深入研究,但如何高效率、高精度地进行步态相位检测仍然
学位
光载微波干涉光纤传感技术利用光载波的微波包络在微波域中发生干涉,其在光学领域不受光波幅度串扰、偏振变化、模间干涉的影响,同时,微波因波长远远长于光波,其干涉仪的稳定性远远强于光学干涉仪,而且能更快地实现毫米量级以下的空间分辨率,得到微波光子学领域的重视。然而在当前技术水平下的电子系统中存在着各种难以消除的电子噪声,导致微波干涉条纹的频率经常波动,增加了测量的不确定性,通过软件或硬件的方式减少这种影
学位
随着我国经济与公路基础设施建设的持续快速发展,公路货运量和客运量保持高增长态势,公路安全成了保障全国经济发展的重要一环。保障公路安全离不开路面破损检测。传统的人工走查的检测方式成本高、检测时间长、受视觉主观性影响,并且可能危害检测人员的生命安全。因此,路面破损自动化检测方法的研究具有重要意义。目前,国内外的路面破损检测方法中,多数局限于对裂缝破损的检测,少数能检测多种破损,但检测精度不高。本文针对
学位
光纤布拉格光栅(Fiber Bragg Grating,FBG)是当前光纤传感领域中发展和研究潜力最大的光纤类传感器之一。对FBG大规模组网,通过波长漂移和位置信息,可以实现对复杂工况的分布式传感监测。在现有的技术中,基于干涉和时分复用的FBG波长解调系统具有大容量、解调速率高的优势,但由于使用的宽谱光源一般需要添加带通滤波器滤除底噪,而光源信号的相对强度噪声随带宽的下降而上升,导致系统的信噪比较
学位
在包括强度、波长、频率、偏振态等多种光纤传感调制形式当中,基于光学干涉的相位调制型光纤分布式声学传感(Distributed Acoustic Sensing,DAS)技术具有极高的灵敏度和广阔的应用前景。然而,在现有的光纤DAS系统中,普遍采用单波长或者合成波长进行光干涉测量和相位解调,其局限性在于相邻采样点之间的相位变化不能超π,否则必须提升解调系统采样率,这会极大地加重大容量长距离DAS阵列
学位