基于图卷积神经网络的长文本语义匹配研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:xushaowei20092009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
长文本语义匹配任务因其结构复杂、语义多变,难以捕捉实体间的潜藏的依存关系,成为了自然语言处理领域学术界和工业界的研究热点。在处理突发新闻挖掘、信息流推荐等实际场景时,对匹配算法的实时性和准确性也产生了新的要求。目前工业界仍广泛采用基于序列的循环神经网络架构,在应用于长文本任务时,存在训练时间大幅增加、难以捕捉非线性上下文关系等不足。针对这一现象,本文基于Attention机制和图卷积神经网络,从长文本语义空间结构和多粒度语义表征等方面加以考虑,针对深度语义匹配模型架构的输入层、表示层和匹配层分别进行了优化,包括构建文本的实体关联图,结合卷积特征提取和Attention机制优化语义表征,基于引入动态更新机制的图卷积进行融合匹配等。论文的主要工作及创新点如下:
  1.提出了一种基于关键词和词序特征构建实体关联图的方法。相较序列化的文本输入,采用图结构表示长文本能存储语义结构信息,有助于挖掘深层语义互作用,避免耗时的爆炸性增长。因此本文基于命名实体和表意实词,结合词序和行文特征构建了实体关联图作为多粒度语义表征的基础。通过实验发现,相较GCN基准模型,基于行文结构和语序信息的S-GCN模型在评估指标(准确率和F1值)上平均提升了约2.4%。
  2.提出了一种引入动态更新的图卷积融合方法。由于初始的实体关联图权重和连接方式仅由浅层的词序和语义决定,不能很好地体现基于上下文的深层语义互作用。因此,本文在GCN聚合过程中,基于关联图的结构动态更新节点和边信息,同时结合潜在的边连接更新关联图结构,挖掘并完善了概念间的互作用。通过实验发现,相较GCN基准模型,加入动态更新机制的D-S-GCN模型在评估指标上平均提升了约3.0%。
  3.提出了一种基于Attention和卷积神经网络的概念语义表征方法。由于长文本语义结构复杂等特点,使用支持并行计算、特征抽取能力良好的卷积神经网络,是综合性能和效率的首选。但卷积特征抽取受卷积核尺寸的限制,为了弥补这一缺点,本文采用Attention机制获取跨段句的语义互作用,构建了以概念为关注导向的全局特征。通过实验发现,相较GCN基准模型,引入Attention机制的Att-D-S-GCN模型在评估指标上平均提升了约4.4%。
其他文献
码分多址(CDMA)系统是一种干扰受限系统,其主要干扰为码间干扰和多址干扰(MAI).随着用户数的增加或信号功率差异的增大,由于各用户的扩频序列很难实现完全正交,信号间的相关性不为零,由此产生的多址干扰就成为CDMA通信系统的一个主要干扰.多址干扰严重限制了系统容量的提高.因此抑制多址干扰就成为码分多址蜂窝移动通信系统的一项重要任务.多用户检测(MUD)是宽带CDMA通信系统中抗多址干扰的关键技术
学位
冲击地压是在煤岩开采过程中发生的动力破坏现象,由于复杂的地质条件和多样的开采方式使冲击地压具有较强地模糊性、非线性。冲击地压灾害的发生往往会造成较大的人员伤亡和财产损失,因此精准地预测冲击地压对于煤岩安全稳定开采具有重要意义。  论文首先分析了煤岩冲击地压前兆特征信号中的声发射信号、应力信号和红外辐射信号的变化规律。针对单一的前兆特征参量不能完整的表征冲击地压发生状态等问题,提取声发射振铃计数和信
学位
随着互联网的不断普及与发展,越来越多的用户选择互联网作为获取信息的第一渠道。与此同时,随着全面小康时代的到来,人民对精神文化娱乐的需求日益增强促进着电影文化产业蓬勃发展。面对互联网中海量的电影及评论数据,利用情感分析技术对评论数据进行分析,挖掘评论文本中隐含的情感倾向与价值趋向,一方面为消费者作出消费决策时提供参考意见,另一方面可以帮助电影创作者了解观众喜好与市场需求,从而创造出更加优秀的电影作品
学位
“一带一路”政策的推行掀起了“汉语热”的狂潮,然而,不少把中文作为第二语言的外国学习者都遇到了汉语学习难的问题。如传统汉语学习模式单一,教学资源缺乏以及语言差异等。人类感知交流是一个多感官过程,视听多模态信息可以有效促进语言的理解与学习。智能辅助语言学习,就是通过为学习者提供有关发音器官运动的指导,增强学习者对发音的理解,更准确地掌握发音规律,从而在一定程度上有效解决了汉语学习难的问题。  考虑到
学位
轻度认知障碍(MCI)是阿尔兹海默症(AD)的前驱阶段,对轻度认知障碍所处阶段的精确诊断具有重要意义。本文旨在通过对静息态功能磁共振成像(rs-fMRI)信号进行直接分析建立诊断不同阶段(早期和晚期)的轻度认知障碍的分类框架,并通过总正确率,特异性(晚期MCI的正确率)和敏感性(早期MCI的正确率)评价其分类性能。  通过应用解剖自动标记(AAL)模板,将受试者的所有fMRI图像分割为116个感兴
差分隐私是一种严格的、可证明的隐私保护方法。与其他隐私模型相比,差分隐私可以成功抵御大多数隐私攻击并为数据集中的单条数据提供隐私保护。信息的实时发布使得越来越多的在线系统挖掘和分析个人的信息,讨论并设计更先进的差分隐私在线学习算法具有非常广泛的实践意义。但现有的差分隐私在线学习方法在适用范围上有很大的局限性,且算法的准确性较低。针对该问题,本文提出一种更通用、更准确的差分隐私在线学习方法。主要内容
学位
广告点击率(Click-through Rate, CTR)预估是在线广告推荐中的一项重要研究任务,它旨在预测用户在广告显示中点击广告的可能性。最近,随着神经网络在很多领域都取得了不错的成绩,越来越多的研究人员提出了基于神经网络的模型用于CTR预估任务中。这些基于神经网络的CTR预估模型一般只通过原始特征去学习低阶和高阶特征交互。然而,原始特征通常都是高维稀疏的这使得神经网络模型很难在大量参数下学
学位
进入21世纪以来,地理分布式的公有云平台已成为最为普及的互联网基础设施。在云平台上部署应用服务具有投入低、性能高、可移植性强等优势,目前已成为互联网公司的首选方案。然而,在进行跨数据中心的应用部署时,由于应用实时性要求高,数据中心间流量大,以及同类应用相互竞争等原因,使得跨数据中心应用的资源管理面临着网络传输实时性难以保障,网络传输费用居高不下,以及竞争环境下资源分配方案难以制定的问题。为此,本文
随着互联网和虚拟化等技术的快速发展,云计算的研究和应用发展迅猛,已经成为当前主流计算模型,为互联网服务、企业应用、科学研究等诸多领域提供多用户弹性服务。同时,云计算在应用过程中存在的问题也暴露出来,特别是“同时满足系统资源利用率与用户体验要求”的难题日趋突出,使得如何在保障用户体验的前提下优化系统的资源管理,成为当前亟待解决的重点问题。本文研究面向用户体验的云计算系统资源管理技术,围绕用户体验保障
学位
目标跟踪是指对连续图像序列,通过给定初始帧中目标的初始状态(例如位置和范围),估计目标在后续图像序列中的运动轨迹。目标跟踪是计算机视觉领域的研究热点。由于超高分辨率遥感技术的发展,从卫星视频中跟踪目标已成为可能。然而,卫星视频中的目标通常在整个图像上占比很小,与背景过于相似,因此现有的自然视频目标跟踪算法都无法在卫星视频中具有令人满意的精度。光流法能够计算像素点微小运动的光流矢量,从而提取目标的运
学位