基于问答与图神经网络的事件类别检测与属性提取的研究

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:tiger5156
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的飞速发展,人类获取信息的速度与数量大大提升。网络信息中最重要、数量最大和内容最丰富的信息是文本。如何从海量的非结构化文本中挖掘出信息完整的结构化数据,是文本事件抽取任务的主要目标,它在各领域中都有广泛的应用需求。事件抽取领域主要分为事件类别检测(触发词抽取)和事件属性提取两大部分,是NLP领域的热点和难点问题。目前事件抽取技术中,基于模式匹配的方法在生产实际中广泛应用,但需人工构建大量事件抽取模板,模板数量的增加导致冲突加剧,准确率下降。基于机器学习的事件抽取方法可自动发现文本中的事件模式,但依然需要构建文本特征工程,多个子任务会导致错误传播。基于深度学习的序列标注事件抽取方法(如LSTM+CRF),可自动挖掘文本中潜藏的各类特征,成为当前主流的事件抽取方法,但该类方法对当前预训练模型的强大语义能力利用不足,且不便于融合和扩展外部知识。因此,为了充分利用文本语义信息,本文期望在预训练模型的基础上,使用阅读理解的思想,通过问答方式抽取出基于语义相似度的事件类别及其属性。进一步,为了利用文本中的语法信息,在识别文本中语法依赖树的基础上,利用图神经网络技术从中提取文本结构语义,细粒度刻画事件类别及其属性之间的结构关系,从而提高事件信息的抽取精度。首先,提出基于问答和图神经网络的事件类别检测模型。将经典的基于文本序列标注的事件抽取问题转化为基于阅读理解的问答问题。经典的基于文本序列标注的事件抽取模型,通过识别文本序列中事件元素与其上下文的位置和语义关系来抽取事件信息,但易导致错误在序列上的累积和传播,降低了事件抽取效果。为此,本文利用强大的文本预训练模型,通过机器阅读理解模型学习文本语义,然后利用合适的事件类别相关问题,引导模型做出回答,从而得到事件类别。特别的,针对于传统事件类别检测是通过一个模型同时识别触发词和事件类别,导致二者紧密耦合,模型复杂难以充分训练的问题,本文创新性地提出先识别事件类别、再识别触发词的分步问答模型。该模型不仅显著提高了事件类别检测准确率,而且为下游的事件属性识别提供更准确的事件类型输入信息。进一步,该分步问答模型可以在事件类别检测模型的问题中融入所有备选事件类别名称,以及在事件触发词模型的问题中融入所选事件类别名称,有助于模型学习事件类别名称中蕴含的语义信息。此外,为了获取更准确的文本结构信息,采用语法依赖树获得文本的结构关系图,采用图神经网络模型学习文本结构信息,用以提高事件类型的识别效果。其次,提出基于问答和图神经网络的事件属性提取模型。因事件属性多、表达多样、位置分散,使得传统的基于文本序列的事件属性提取方法效果不佳。利用基于阅读理解的问答模型捕获文本中的语义信息,同时利用语法依赖树和图神经网络捕获文本中的结构信息,构建事件属性提取模型。在图神经网络构建方面,采用一个潜在上下文感知图结构的图卷积网络抽取事件信息,捕捉句子的长程语法结构,对结构复杂长句中的事件属性提取具有非常显著的效果。为了更精确地表示语法依赖树中的事件元素,探索采用图剪枝方法提取句中关键信息,构建局部图优化事件属性提取模型。此外,根据事件类别检测阶段识别出的事件类型,构建该类事件的属性提取问题模板,因事件类别检测中的分步问题模型中输出较高准确率的事件类别,显著降低错误传播,大幅提升事件属性提取性能。大量实验结果表明,本文提出的事件属性提取模型达到了该领域的SOTA水平。第三,对问答模型中的提问策略、图神经网络中的图构建方法以及基础模型选择上进行优化策略研究。通过调整不同询问策略来最大化表示文本的语义蕴含,并调整图神经网络的构建方式进一步简化句子语法结构,提炼关键的结构信息。此外,在文本预训练模型选择上,对比分析了目前多种经典和前沿的模型效果,为事件抽取模型提供优化策略。在实验部分,本文实验是在目前最主流的ACE2005数据集上进行,用于事件类别检测和属性提取模型的训练和验证。在标注数据更少的事件属性提取领域,还采用了最新的WIKIEVENTS数据集进行辅助验证。为了对不同模型的效果进行对比,本文以bert-base-uncased、bert-large-uncased、bart-large三种模型为基础文本预训练模型,分别实现了基础问答模型QA、QA+GCN模型、QA+修剪GCN模型。大量实验结果验证了本文提出模型的有效性。综上,本文探索了问答模型在事件抽取上的有效性,以及与图神经网络的有机结合,显著提高了事件抽取的效果。该模型具有较好的扩展性和移植性,为将来外部知识的融合和更广泛的领域应用提供了研究和应用基础。
其他文献
可转换债券是一种集债性和股权性于一体的金融衍生工具,债券持有者可以选择将债券持有至到期日,从而获得相应的本金和利息,也可以按照事先约定的条件将债券转换为公司发行的股票。由于具有在任意时刻可以转股的特性,因此数学模型没有精确解,给定价带来了一定的困难。本文主要研究两类可转换债券模型下的高效差分格式。首先在股票价格满足随机波动率模型下讨论相应偏微分方程终值问题的有限差分格式,由于其交叉导数项的存在,直
学位
自改革开放以来,我国进入发展腾飞新时代,经济发展取得了举世瞩目的成就,发展成为全球第二大经济体。但随着经济快速增长,我国的生态自然环境也遭到严重破坏,环境保护没有得到足够重视。面对经济发展与生态保护之间的不平衡关系,绿色技术创新是实现两者协同发展的有效途径,是生态环境建设和技术创新相融合的复合概念。所谓的绿色技术,又称为环境友好型技术,是指在遵循生态发展和经济规律的前提下,能够尽可能的节约资源,减
学位
Green函数方法的研究可以追溯到二十世纪的早期。这一方法的本质,是在面对非线性微分方程问题时,先利用Fourier分析等一系列的手段,得到相应的线性方程Cauchy问题的基本解,之后根据Duhamel齐次化原理,将非线性偏微分方程的解根据基本解表示为积分的形式,从而可以进一步地研究解的整体存在性和衰减估计等,这里的线性方程Cauchy问题的基本解,即Green函数。从过去的大量研究中可以看出,G
学位
在实际生产生活中,新产品的产生一般是有相似的产品衍生而来,例如同一品牌的智能手机、笔记本电脑等一系列产品的更新迭代。对于经销商来说,新发售或者新上架的产品往往是采购已经上市销售且具有较好的市场和销售前景的产品。对于此类新产品往往因为缺少历史销售数据,常用的统计和机器学习算法不能较好地预测未来销量。本文基于迁移学习的思想,从时序分布偏移的角度出发,利用拥有历史销量的相似产品来预测新产品的销量。基于循
学位
现实中的随机环境?常复杂,假设公司完全确信未来收益由某?特定的概率测度所控制是存在局限性的,因此本?假设公司未来前景由?族概率测度所概括,建?了Knight不确定性下直接破产清算和具有正外部性的公司重组模型,并推导出公司价值与最优重组策略的显?表达式。与传统意义上通过波动率度量的风险相反,Knight不确定性对公司价值产?了负?影响,从?提?了重组及破产门槛。本?还探究了信息不对称的情况,信息不对
学位
近年研究表明,Frobenius-Perron维数在k-线性范畴的分类中发挥着关键作用,对于研究代数的结构具有重要意义。因此,本文将D型箭图作为研究对象,利用表示论的方法,探究D型箭图的不可分解表示的Frobenius-Perron维数的规律。本文主要工作如下:首先,选取D型箭图的四种箭向,利用其五种不可分解表示(Ai,Bi,Cij,Di,Xkl)构成的Auslander-Reiten箭图,计算每
学位
线性混合效应模型是一种非常重要的统计模型,弱化了一般线性模型要求观测值是彼此独立且等方差的条件限制,可以根据数据本身的结构特点,较为灵活地选择协方差结构,使得这类模型特别适用于具有多层次结构及重复测量的数据分析.近几十年来,随着计算机的发展,线性混合效应模型被越来越广泛地应用到生物、医药、金融、气象、社会科学等领域的数据研究中,成为分析纵向数据、面板数据等重复测量数据的重要模型之一.然而关于该模型
学位
改革开放以来,我国证券市场经历了不断发展成熟的历程。上海、深圳两大证券交易所成立已有三十多年历史,随着近年来金融供给侧改革的持续开展深化,包括退市制度的完善、科创板的正式落地、“注册制”的全面实行、北京证券交易所的设立等一系列举措将资本市场改革推进到一个全新的高度。但是,改革的道路从来不是一帆风顺的,往往也伴随着许多的不确定性与风险。2015年6月我国A股就遭遇了前所未有的崩盘,导致投资者的巨额财
学位
改革开放后,我国资本市场经历了飞速发展。在这一历程中,我国资本市场也逐步开放,其中也包括A股纳入MSCI新兴市场指数这一事件。本文针对这一事件产生的经济后果进行了探索,通过构造双重差分模型进行了检验,结果表明:相较于未纳入MSCI指数的公司,纳入指数名单能够显著提升标的公司的投资效率,且其投资效率的提升主要体现为对过度投资的抑制,而对投资不足没有明显的改善。进一步的机制检验对此给出了解释:这是因为
学位
社区团购是以居民社区为单位,通过互联网平台进行团体购买,消费者在社区内自提的一种消费形式。我国的社区团购大约从2016年开始起步,随着微信小程序的发布、拼多多的流行,在2018年开始呈现爆发式增长。然而在2019年,行业步入洗牌阶段,多个项目陷入困境,边缘小企业被并购或无奈退市。2020年,受新冠疫情影响,社区团购再度火热起来受到关注,展现出巨大的市场潜力和市场价值,美团、拼多多、京东等多家大型互
学位