基于神经网络的句子相似度计算研究

来源 :湖南科技大学 | 被引量 : 0次 | 上传用户:kornnay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句子相似度计算作为自然语言处理中一项重要的基础研究,在众多相关研究中扮演着重要的角色,受到了研究人员的广泛关注。传统的句子相似度计算方法基于人工提取的特征进行计算,但这种方法常常面临特征稀疏等问题,使得计算结果不尽人意。近年来迅速发展的神经网络能自动提取文本特征,有效地挖掘句子中隐藏的语义信息,解决了人工设计特征面临的诸多问题。因此,越来越多的研究工作聚焦于将神经网络应用于句子相似度计算。目前基于神经网络的句子相似度计算研究主要分为两大类,一类是基于交互的方法。此类方法先根据句子之间匹配单元的关系构造语义关系矩阵,然后利用卷积神经网络从该矩阵中提取相应特征并计算句子相似度。由于构建语义关系矩阵时往往只考虑句子之间单词或短语的交互,忽视了句子整体的交互,从而影响了最终句子相似度计算结果的准确性。另一类是基于表征的方法,此类方法通常利用句子编码器提取不同类型的特征来进行句子表征,然后根据句子表征间的距离来表示句子相似度。由于句子编码器提取的局部特征往往忽略了句子中的序列相关信息,提取的全局特征又相对不足,导致最终的句子相似度计算的准确率不高。鉴于以上问题,本文提出了以下两种解决方案:1、本文提出了一种结合局部和全局特征的句子相似度计算模型。该模型利用一种改进的卷积神经网络提取句子的局部特征并将其作为单词对应的局部语义特征;然后将预训练的单词词向量和单词对应的局部语义特征级联得到融合局部语义信息的单词表征,并将新的单词表征构成的句子序列输入至双向门控循环网络,从而提取到句子中的全局特征;最后选取部分全局特征来表征句子,并根据句子表征之间的曼哈顿距离来计算句子相似度。实验结果表明该模型极大地提高了句子相似度计算的准确率。2、本文提出了一种混合交互的句子相似度计算模型。该模型首先利用句子编码器对句子进行编码,得到相应的句子表征,并根据句子表征之间的向量差来捕捉句子级别的交互关系;然后利用句子之间单词与单词的语义关系构建语义关系矩阵,采用卷积神经网络提取矩阵中的特征,根据这一特征向量来表示句子之间单词级别的交互关系;最后结合上述两种交互表示的特征向量,经过全连接网络对该特征向量进行拟合后,得到最终的句子相似度。在真实数据集上的实验结果表明,该模型明显优于目前大多数句子相似度计算模型。
其他文献
气候变化是当今国际社会国别合作与博弈的焦点,发达国家以应对气候变化的重大挑战为契机,形成了低碳发展的执政理念,并采取了一系列措施力图在未来的产业竞争等方面抢占制高点。而对于我国来说,发展低碳经济是可持续发展的内在要求,也是实现跨越式发展、参与国际竞争与合作的可行途径。低碳发展的关键是转变能源利用方式,以新能源代替传统能源,而煤炭是我国的主体能源和基础产业,从很长一段时间来看,以煤炭为主的能源发展格
在本篇论文中,我们研究二维稳态非线性磁薛定谔方程(?)在(?)Ω上,(0.1)其中Ωα是R2内光滑有界区域且指数p>1,ε>0是一个小的正参数,V是Ω上正的、光滑的位势函数,v表示Ω的
背景DNA甲基化是表观遗传学的一种重要机制,在调节基因复制和蛋白质表达中具有重要作用。大部分DNA甲基化发生在鸟嘌呤核苷酸或Cp G位点之前的胞嘧啶上。Cp G岛是哺乳动物基
移动互联网的发展使得人人都可以随时随地地制造信息,而微博作为国内使用人数最多的社交平台,每天都会产生海量的信息。社交网络的数据包含了大量与当前社会热点事件紧密相关
由于接地网埋设于地下,易受到土壤长期腐蚀而导致性能变差,一旦发生接地事故,接地性能变差通常会导致事故扩大。因此选择一种有效的方法发现接地网腐蚀并采取措施加以维护,对保证站内各电气设备、保障工作人员的安全等具有重要的意义。本文以电网络理论为基础,讨论接地网端口电阻与腐蚀导体支路电阻之间的函数关系建立了接地网腐蚀评估方程,采用正则化原理结合最小二乘算法对接地网腐蚀支路及腐蚀情况进行求解,并制定腐蚀评估
随着社会的进步和经济的飞速发展,人类对能源的需求日益增多,发展新能源来代替化石燃料(煤、石油)成了必然趋势,使用氢能源能够有效减少二氧化碳气体的排放及其对全球气候变化
纳米材料具有优异的物理、化学性能在许多领域都有广泛的应用。实际上纳米材料的制备有非常多的方法,但也存在可生产材料范围较小、对反应条件的要求较高、如高温高压等缺点
随着环境污染的不断加剧及石油、天然气等化石燃料的急剧消耗,以氢能为代表的新能源的开发和利用日益引起了相关研究者的广泛关注。在微反应器内部发生的甲醇重整制氢反应,被
永磁合金能够提供稳定持久的磁通量并实现电信号转换、电能与机械能传递等功能,是现代工业和科学技术不可缺少的一种重要的基础功能材料,在能源、交通、机械、电子、医疗、国
目前,节能和环保成为人类社会发展的两大主题,随着城市轨道交通系统的不断完善,城市轨道交通系统中的列车运行过程中所消耗的电能也在不断的增加。为此有些城市轨道交通系统设置了再生制动储能装置来存储列车的制动能量,并降低列车运行过程中电能的消耗,但是有些列车在很多情况下还是不能够实现再生制动。为此以降低列车运行过程电能的消耗为目的研究列车再生制动能量回收技术。本文利用线路数据和列车数据对规划线路和既有线路