基于命名实体识别的动态上下文方法研究

来源 :东北师范大学 | 被引量 : 0次 | 上传用户:qhp168
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
上下文表示是理解自然语言的关键,相同的单词、短语和局部单词序列在不同的上下文表示下会具有截然不同的含义。在自然语言处理任务中,大多数研究工作拼接Bi LSTM(Bidirectional Long Short-Term Memory Network,Bi LSTM)的前向输出与后向输出作为上下文表示。由于句子作为单词序列输入的特点,全局信息仅包含于Bi LSTM建模的第一个位置与最后一个位置。对于情感分析、机器翻译等仅使用最后一个位置信息的任务,命名实体任务需要使用每个位置对应的上下文信息去预测其对应的类别。如果使用缺乏整体句意的上下文表示进行分类,会导致预测时出现异或限制,而此种限制并不能通增加模型复杂度的方式解决。现阶段关于命名实体任务的研究工作大多采用融合条件随机场(Conditional Radom Field,CRF)与神经网络的方式来学习标签间的转移矩阵。但这种方式存在以下问题:(1)受限于马尔可夫假设,CRF并不能很好地利用神经网络中的长距离依赖信息;(2)由于CRF的训练时间复杂度较高,不适用于大数据场景,并且推理阶段使用维特比算法会限制其并行性。学习数据集中标签的向量表示,可以通过衡量标签向量的信息分布与提取到的信息分布之间距离显著提高模型分类准确率。此外由于每个位置的上下文信息与其对应的标签信息有着强相关性,可以通过每个位置标签信息优化上下文信息。据此,本文采用联合学习标签表示与上下文表示的思想,提出两种动态生成每个位置上下文表示的方法,以及代替CRF的标签向量分类方法:1.语言成分的动态上下文机制,此方法包括两部分:(1)概率门函数。基于概率成分角度,即:每个位置的标签信息是由标签信息空间中的属性按比例融合。为每个位置生成其对应的标签信息;(2)语言成分函数。以语言学角度出发,生成每个位置语义表示的前向全局信息、后向全局信息以及本地信息的成分占比。2.基于注意力的动态上下文机制,此方法有着同样的宏观结构:(1)余弦距离函数。以向量间的余弦距离为切入点,将标签信息空间中的向量与每个位置的上下文信息之间的余弦距离作为融合权重,得到每个位置的标签信息;(2)自注意力函数。不同于语言成分函数为每个位置生成全局语义的成分比例,自注意力方法基于整个上下文信息空间与标签信息空间,直接动态为每个位置生成全局信息表示。3.标签向量分类机制:融合每个位置对应的标签信息、上下文的位置信息生成每个位置对应的标签分数进行分类。实验结果表明,本文提出联合学习标签表示与上下表示的方法,不仅可以学习到有效的标签表示,并且可以很好地解决Bi LSTM在命名实体任务建模上的异或问题,同时基于此的标签表示分类层在分类效率与F1值上都优于CRF方法。
其他文献
随着计算机视觉领域的快速发展,许多研究人员的关注焦点聚集于人体动作识别方向。该研究方向多运用视频分析的方法对人体动作进行识别,然而人体动作间灵活性高、差异性小,运用视频分析对人体动作类别进行准确识别仍面临诸多困难。随着视频获取设备的日益成熟,运动中的人体骨架信息越来越易于获取,且人体骨架信息对于光照、场地、遮挡等问题均具有一定的鲁棒性,因此基于视频的人体动作识别逐渐转为基于骨架的人体动作识别。人体
肺癌作为全球发病率、死亡率均位居前列的疾病,严重危害人类的健康,尽早发现与治疗是降低肺癌死亡率的重要手段。肺结节是肺癌的早期存在形态,及时诊断肺结节是提高肺癌患者治愈率的关键。CT技术是目前临床医学中应用最为广泛的诊疗手段,但CT诊疗产生的数据以指数倍形式迅速增长。因此,医生人工观察CT图像进行疾病诊断需要巨大的工作量,效率较低,且诊断结果通常带有较强的主观性。为提高医生的诊断效率、减少医生的工作
显著性检测是指从图片中找到最“引人注意”的一个或若干个物体的过程,其本质上是一种心理学过程的计算机重现。深度卷积神经网络技术在当前图形图像各领域的应用中展现了不可思议的能力,在显著性检测领域也不例外。目前,最先进的方法都是基于深度卷积神经网络技术研发的。这其中,Lee等人提出的ELD(Encoded Low Level Distance)算法将底层特征和高层特征统一编码,统一训练,是一种非常值得借
三维人体姿态估计是计算机视觉领域中的热门课题。三维人体姿态估计可以作为人体姿态识别、人体跟踪、行为识别等任务的基础,同时在高级人机交互,智能监控等领域拥有广泛的应用前景。由于从单目图像预测三维空间信息是十分困难的,并且姿态图像存在着遮挡和视差等问题,使其非常具有挑战性。随着深度学习在多领域的成功应用,具有强大学习能力的深度神经网络也逐渐成为三维人体姿态估计任务的最佳选择。本文将基于深度学习,采用分
近年来,随着定位、跟踪技术的快速发展,诸如GPS等位置感知设备得到了广泛的应用,使得车辆、人们的移动轨迹能够被精确地记录,通过对轨迹数据的有效分析可以了解一个城市的交通状况及城市中人群的移动规律,对于城市管理者的决策具有重要意义。然而,由于轨迹数据具有时空特性,并且通常数据规模很大。因此,如何有效地发挥轨迹时空连续性,探索数据中隐藏的时空规律是一项巨大的挑战。本文基于成都市出租车真实轨迹数据,研究
随着智能化设备的不断革新,很多产业的落地都需要海量的视频信息作为基础。视频信息相较于普通图像而言隐藏着巨大的价值。动态性、可持续性以及关联性都是视频所独有的特点,基于这些特性对视频数据进行挖掘将会收获极大的价值。对视频的行为识别研究是计算机视觉与模式识别领域的重要研究课题,行为识别不但具有重要的科学意义,而且具有十分关键的现实应用价值,对我们的生活产生很大的影响。行为识别主要应用领域包括远程识别、
在21世纪这个信息量急速增长的时代,如何快速高效地传达和抓取有效信息是困扰人们的难题之一。为了解决这个问题,相关研究者提出了推荐系统这一概念。推荐系统能够根据可观察到的数据学习用户和项目的特征,不仅为用户提供他可能感兴趣的项目,也为项目找到了合适的用户,是一种解决信息过载问题的双赢系统。得益于深度学习算法在推荐系统领域的快速发展,研究人员将数据映射到模型内部,直接由计算机学习数据特征,避免了繁琐的
随着信息化时代的到来,人们越来越依赖互联网获取所需要的信息。互联网上的网络资源如网站、用户评论、新闻、博客、社交媒体网络等是文本数据的巨大来源。互联网和其他档案中的文本内容每天都呈指数级增长,这些文本中有许多重复的或不重要的部分。因此,用户需要花费大量时间来寻找他们需要的信息,对文本资源的总结和浓缩变得更加迫切和重要。利用人工对这些文本资源生成摘要,需要花费大量的人力和时间,甚至是一件不可能完成的
学生的学业水平是学校和家长共同关注的核心问题。研究表明,学生的学业水平与学生在课堂上的注意力状态存在着密切联系,能够长期保持注意力集中的学生往往具有较高的学业水平。因此,十分有必要提高学生在课堂上的注意力水平,为此首先需要对学生的注意力进行检测。现有的注意力检测方法包括问卷调查法、仪器检测法和计算机视觉算法。问卷调查法虽然方便进行统计分析,但是通常会受到主观因素的影响,无法保证实验结果的质量和可信
随着科技与时代发展,图像数据呈指数级增长,检索数据库中的图片需要耗费大量的时间。图像检索技术大致可以分为两类:基于整体图像的图像检索和基于显著区域的图像检索。基于整体图像的图像检索需要提取整幅图像的所有特征,往往包含大量的背景噪声,而基于显著区域的图像检索算法由于考虑了图像的语义信息,比基于整体图像的图像检索效果更好。哈希方法将图像数据转换为二进制码,在减少图像数据存储空间的同时提高了检索速度,越