基于深度学习的新闻命名实体识别方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:nanpingke11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息抽取是自然语言处理领域的一个重要研究分支,而命名实体识别则是信息抽取技术中的关键核心问题,其作为机器翻译、句法分析等众多下游任务的基础工具,对自然语言处理技术走向实用化具有重要意义。近年来,随着深度学习技术的快速发展,基于深度学习的命名实体识别模型层出不穷,虽然命名实体识别性能不断被提升,但上述方法也存在诸多不足:(1)当前多数方法采用双向长短期记忆网络(Bi-LSTM)作为上下文编码器,但基于RNN的模型采用对序列进行顺序处理的建模方式,不利于模型捕捉词语间相互依赖的关系特征,从而导致模型对上下文依赖的细粒度建模能力不足;(2)已有方法通常仅针对句子级文本数据建模,而忽略了文档级文本数据中存在的全局信息,即同一实体在不同句子中的上下文表示,从而导致学习到的实体向量信息表示不足。因此,将命名实体识别任务建模为句子级序列标注问题存在一定局限性。本文针对上述问题,主要完成以下研究工作:1.针对Bi-LSTM在建模序列上下文依赖性方面存在的局限性,提出一种位置感知自注意力机制,将序列元素间的相对位置信息引入注意力分数的计算过程,从而更加合理有效地建模序列的上下文相关性,并进一步提出基于门控机制的上下文融合网络,以细粒度方式动态选择对当前词语有用的上下文信息。2.针对现有模型将单个句子作为输入的局限性,提出一种基于全局信息的文档级命名实体识别模型。依据词语的重复出现信息构建文档图,并借助图神经网络作为编码器获得词语更丰富的上下文表示,并进一步提出两种策略以缓解噪声问题。在句子级别,提出一种跨句编码模块,建模当前句子外更广泛的上下文信息。3.在Co NLL2003和Onto Notes5.0两个数据集上进行的实验结果表明,本文提出的两个模型超过所有基线方法。通过对比实验发现,将相对位置信息合理有效地引入自注意力机制可改善模型性能;实验结果也证明了在单词和句子级别上充分利用文档级全局信息对模型性能的改善,以及按不同权重聚合邻居节点信息并过滤噪声信息的重要性。
其他文献
飞秒激光诱导产生纳米光栅一直是飞秒激光精密加工领域的研究重点,因为其光学双折射现象、周期性、热稳定性、延迟值和光轴方向可控性、可重复擦写性等不同的性质,在不同的研究领域都受到了广泛的关注。其中关于可重复擦写性的研究一直是一个热点。本文结合之前的研究者对纳米光栅可重复擦写性的研究,提出了从三个方向观察纳米光栅重复擦写的过程,通过改变不同参数的实验探索了纳米光栅慢轴方向改写以及控制延迟值的方法,寻求其
学位
近些年物联网快速发展,物联网中的连接节点设备数量也呈现指数增长趋势,与此同时设备固件漏洞安全问题也呈现出逐年增加的趋势。在固件源代码开发过程中,为了加快开发效率,开发者或多或少会引入对于第三方开源代码的克隆。而这些不经意间的代码克隆,往往可能将安全漏洞引入到固件源代码中。本文将源代码相似性检测引入到固件源代码漏洞检测中,以发现由于代码克隆而引入到固件源码中的漏洞。本文设计实现的固件源代码漏洞检测系
学位
随着互联网技术的发展和人工智能技术的演进,基于搜索引擎的问答技术难以满足人们日益增长的需要。人们需要在繁杂冗长的搜索结果中寻找自己需要的信息。在“新型冠状病毒”疫情的影响下,怎样准确简单地了解病情信息就成为了亟待解决的课题。本文实现的临床医学智能问答系统可以理解用户提问,精确识别用户意图,在知识库中寻找答案,将答案准确简洁地返回给用户。本文通过爬取互联网中的医学知识网页资源,并基于规则的方式对提取
学位
为了提升数据库的性能,对数据进行分片操作成为了非常必要的手段。在进行分片操作时,需要注意遵守分片的完整性、不相交性和可重构性原则。分片方式主要有三种,水平分片、垂直分片和混合分片,每种分片方式都有各自适合的场景,这里主要讨论垂直分片。垂直分片在实际应用中,往往可以用来划分出热点数据,从而提升数据库性能,降低数据访问成本。但是目前的垂直分片往往没有考虑到数据之间的语义关系,若是在分片的时候考虑到数据
学位
科学研究和工程实践中广泛存在着具有多约束多变量的多目标优化问题。基于进化理论的多目标进化算法不需要问题的先验信息,具有良好的并行性和鲁棒性,在求解多目标优化问题上表现优异。子代解的产生是多目标进化算法的重要组成部分,显著影响算法的性能。因此,研究多目标进化算法子代解的产生方法具有重要意义。在多目标进化算法中,子代解通过父代选择和个体重组两个环节产生。改进多目标进化算法随机选择父代的方式,有助于避免
学位
移动互联网发展至今,新闻资讯产生速度愈加快速。为帮助用户抵挡信息过载,互联网新闻提供商研发各种成熟的新闻推荐算法,推送用户感兴趣的资讯。然而几乎所有的算法都需要以牺牲用户隐私为代价去实现精准的消息推送。随着各国政府和民众对隐私保护的愈发重视,各项法规开始限制互联网服务提供商搜集、存储和交易用户的隐私信息。当前的新闻推荐系统的隐私保护方法主要有三类:匿名方法、随机数据扰动和加密方法。匿名方法主要使用
学位
信用支付业务已经越来越重要的成为我国银行业和金融业的重要业务,随着社会现代化的发展,具有越来越多样的载体形式和产品形态,如何高效精准的进行银行用户信用违约预测成为了极其重要的问题。针对信用支付业务场景,本文基于机器学习方法设计了银行用户信用违约预测方法。研究了多维度用户违约特征构建方法来解决银行用户信用违约预测特征构建不充分问题;建立了基于分位点的归一化方法来解决银行信用违约数据分布不均衡问题;建
学位
目前网络已经与工业生产紧密联合,在数据环境中利用无线网络通信可以极大降低信息资源交互成本。在数控环境中因为条件限制使用了一些脆弱标准化协议,使网络通信安全问题更加严重。数控环境对于通信实时性要求高,使用协议也是工控网络专用协议,传统的审计系统不能满足其安全审计的要求,因此需要一个高效通信审计系统来确保数控网络系统的安全。论文的研究重点在于实现一个效率快,准确性高同时易拓展的无线数控网络通信审计系统
学位
研究基于情感的对话生成模型对于提升人机对话过程中的用户体验具有重要意义。目前,已有研究主要依赖在序列到序列的生成模型中注入情感向量的方式构建基础框架,并衍生出了多种不同情感注入方式的变种模型,例如在模型输入层、输出层引入情感嵌入以注入情感,或者直接引入外部情感词典以鼓励解码过程中更关注情感词等。上述研究解决的重点是给定某一类的情感,让模型根据用户输入语句去生成带有这种情感的回复,其本质上解决了对话
学位
近几年来,随着互联网技术在各个行业迅速的普及和应用,互联网早已成为多媒体信息的新媒介,造成了信息爆炸式的产出。靠人工鉴别价值信息已经变得越来越难以实现,信息自动化抽取技术应运而生。信息自动化抽取技术是自动化的从文本、图片或者视频中抽取结构化信息的技术,而事件抽取一直以来都是信息抽取的重要研究方向。本课题主要目标是对短文本进行事件抽取,论文以财经新闻为应用场景。在词嵌入方法、特征提取、语句分割粒度等
学位