基于深度学习的句子语义相似度计算

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:seasports
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句子语义相似度计算的目标是通过一组计算机程序,自动计算两个文本句子在语义层面的相似程度。它是自然语言处理领域一项重要而又基础的技术,在自然语言处理的多个任务中都发挥重要的作用,例如搜索引擎、问答系统、文本检索等。近年来,随着深度学习技术的逐步成熟,深度学习模型也成为了句子语义相似度领域最为火热的研究模型。深度学习算法是一组对数据进行高级抽象建模的算法,它是基于数据表示学习的更广泛的机器学习方法的一部分。深度学习算法可以充分利用各种海量数据,自动的学习得到抽象的知识表示,把原始数据浓缩成最终任务所需要的某种知识。本文提出了两种基于深度学习的方法来改进语义相似度计算模型的性能:1.从深度学习模型本身出发,改进神经网络模型中的dropout算法。在传统的dropout算法中每个神经元的丢弃概率是随机选定的,这就可能会丢掉输入中的一些重要元素的信息。我们改进的dropout算法根据输入元素的重要性和依赖关系,来决定dropout概率。这样输入中重要的元素保留的概率就会变大,信息丢失就会变少。同时我们将改进的dropout算法应用在循环神经网络中,来完成句子语义相似度计算任务。2.将深度学习模型与传统的特征工程相结合,发挥两者的优势。在特征提取时,不仅考虑句子层面的全局特征,同时考虑短语层面和单词层面的语义特征,使得特征提取更加全面和完整。而且本文实现的这种将深度学习与特征工程相结合的模型框架也可以用在其他自然语言处理任务中。基于深度学习的模型可以根据任务需求选择循环神经网络、卷积神经网络以及其他类型的神经网络,还可以加入attention机制。基于特征工程的模型,可以针对输入数据的特点有针对性地进行特征制定。在本文中,我们将这种框架应用在句子语义相似度计算任务中。实验表明,上述两种改进方式都能有效提高句子语义相似度计算模型的准确率,同时也为之后更深入的研究做出了有益于探索。
其他文献
上个世纪七十年代,CCD图像传感器凭借其低成本和低噪声成为主流的图像传感器,随着半导体工艺和技术的提高,CMOS图像传感器因其高集成度、低功耗和高灵敏度等优势开始逐渐取代
2018年10月发生的重庆公交坠江事故引起热议,不少法律相关人士提出此事件为承运人违反保护义务所致。而所谓的承运人保护义务制度,正是一个我国明文规定但缺乏具体适用标准、
目前我国的机动车数量正在持续上升,采集车牌的场景也越来越复杂。因此,提升车牌识别技术的普适性至关重要。研究在复杂条件下的车牌识别技术依然有很大的市场价值。具体工作
行人检测是计算机视觉的热点和难点之一,广泛应用于智能视频监控、无人车及辅助驾驶等应用中。近几年,深度学习飞速发展,带动了计算机视觉领域的发展和进步,行人检测技术也得
霍尔德tilt-稳定局部极小值点是优化中的一个重要概念,己被广泛研究.作为其推广,用一般的正数P代替1,文献[1]引进并研究了 tilt稳定P-阶极小值点,并通过真下半连续函数f之次微分映射(?)f的P-阶度量正则性刻画了f的tilt稳定P-阶极小值点.本文给出了(?)f的p-阶度量正则性与f的tilt稳定p-阶极小值点所涉及模及半径之间的确切定量关系.
随着我国资本市场国际化程度不断加深,需要更大的开放力度和更深的勇气,我国也一直在进行相应的探索。我国学者对存托凭证这一金融工具进行理论探讨已持续多年,亟待立法层面
三周期极小曲面(triply periodic minimal surfaces)是一种十分简洁且有数学表达式的复杂结构,它周期性(沿X,Y,Z轴都呈现周期性的变化)地构造了三维空间上的一种光滑全连通的
代码缺陷是程序员在编程时遗留在代码中的错误实现,其能导致软件系统的行为偏离软件需求或产生非预期的错误结果。大量的软件系统失效或不能提供正常服务都归结于软件系统中
利用电弧增材制造技术成形大型复杂金属零件,因其成形效率高、成本低等优点,越来越受到国内外研究机构的关注。然而,电弧增材制造技术存在的成形精度低、缺少满足工艺特点的路径规划及配套切片软件等缺点严重制约其应用。因此,本文以基于TIG的电弧增材制造技术为研究对象,以TC4钛合金丝材为成形材料,对成形的基础工艺及路径规划策略进行研究,之后完成了配套切片软件开发的工作,最后利用开发的切片软件完成了样件的试制
GSM-R(Global System for Mobile Communications-Railway)属于移动通信的一种,专用于铁路的运营管理,目前已经成为承载列车控制信息传输必不可少的组成部分。为确保列车安全