基于神经ODE的轻量级文本匹配模型

来源 :天津大学 | 被引量 : 0次 | 上传用户:ag128333
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本匹配一直是自然语言处理领域中比较热门的研究方向之一。随着计算机算力提升,神经网络开始成为文本匹配任务的主流手段,一般称之为神经文本匹配。无论是什么样的神经文本匹配模型,目前都遵循一种范式:基于多种特征匹配聚合的框架设计更为复杂又精细的模型。因此为获取更多维度的特征,模型开始越来越复杂,参数越来越多。大多数的模型利用残差结构让模型越来越深,以便获取深层的语义信息。但这种方式有两个局限性:第一点是为聚合多种维度特征,研究人员开发了大量的特征交互方式,但这些交互方式在特定任务或数据集下的有效性,有待验证;第二点是残差结构让模型变得越来越“深”,参数开始越来多,但很少有工作在受限的资源下考虑如何进行更好的对文本匹配任务建模,也鲜有工作质疑参数效率的问题,少量的参数是否可以达到类似的效果。为了解决这种问题,本文提出了一个更加轻量又高效的神经文本匹配模型,使用神经常微分方程构造一种连续动态系统代替了堆叠的神经网络组件的离散过程,提出了一种基于神经ODE的特征提取模块(ODE extractor),这种方式可以连续优化同一层参数,达到参数更少、参数效率更高的目的。同时基于此模块设计了一种轻量的,聚合了多种维度特征的文本匹配模型,称为RESODE。本文在自然语言推理和问答选择任务上验证了RESODE模型的性能表现,还特别设计了消融实验验证每个模块的有效性。实验结果表明,RESODE模型可以在更少的参数情况下获得与基线模型可比较的效果。这说明了使用残差结构进行暴力堆叠组件并非是提高模型性能的唯一手段,基于ODE的特征提取方法可以无需占用过多的内存资源、并在一些任务上取得可比较的表现。
其他文献
家庭室内环境与人体健康有着紧密的联系,良好的通风是维护室内空气品质的重要保障。室内新风量是决定室内空气质量的一个重要因素,洁净的空气是人们身体健康的基础,室内通风不良会导致污染物无法及时排出,降低了室内空气品质,通风是营造健康室内环境的重要手段。我国孕妇群体在家时间长,体质较为敏感,同时孕期是一个特殊的窗口暴露时期,室内环境污染会大大增加胎儿的畸形率。本课题作为早期暴露前瞻性研究,对室内通风及住宅
学位
针对冷轧罩退产品部分常见缺陷类型,分析其产生原因,并讨论避免或减少缺陷产生的措施。
会议
大学生作为社会未来发展的中坚力量,需要树立正确的世界观、人生观和价值观,而廉洁观念是其中的重要内容,因此,开展廉洁文化教育将会成为大学生思想政治教育的一个重要组成部分。廉洁既是一种道德品格,也是一种道德规范和价值。廉洁文化是关于廉洁的知识、理论、准则、信仰、文艺和与之相适应的价值取向、行为准则、制度体系及其相互关系的文化总和。大学生廉洁文化教育具有引导性、针对性和时代性等特征。新时代的大学生廉洁文
学位
随着石化能源需求量的日益增加,因石油生产、运输和使用不当导致的石油泄漏等问题愈发严重,造成了严重的土壤环境污染。石油污染土壤治理的技术有很多种,其中微生物治理技术因其绿色环保、无二次污染的优点而受到广泛关注。但是微生物治理技术还存在着以下问题:1)缺乏高效的修复菌株;2)外源菌株应用于土壤后修复效率不高等技术瓶颈问题,难以实现大规模工程应用。基于此,本研究以天津大港油田土壤为研究对象,从土壤中分离
学位
有害藻华(HABs)在不同水域环境中频繁发生,严重威胁水生生物、渔业经济、旅游业和人类健康。为减轻HABs的危害,开发应急除藻技术至关重要。本文开发了单宁酸复合壳聚糖改性高岭土与单宁酸耦合二价铁活化过硫酸盐两种除藻剂,用于海水中藻类的有效去除。主要研究内容如下:(1)单宁酸增强壳聚糖改性高岭土对海水中小球藻的去除制备了壳聚糖改性高岭土(CS-K),并表征了CS-K的结构。以小球藻为模型藻,采用单宁
学位
有机太阳能电池作为一种将太阳能转化为电能的新型光伏器件,具有质轻、柔性、半透明、可溶液加工、大面积制备等优势,在可穿戴设备、半透明窗户、建筑物等领域表现出巨大的应用潜力。近年来,有机太阳能电池的能量转换效率取得了突破性进展,主要得益于非富勒烯受体材料的发展。相比富勒烯受体,非富勒烯受体具有较强的光学吸收、易于调控的分子结构和优异的光电性能。目前,基于非富勒烯受体的有机太阳能电池效率已经突破18%,
学位
廉洁文化融入高校思想政治理论课,是助力大学生成长成才,实现课程育人目标的必然要求,是加强思政课程建设,实现课程改革创新的内在要求,是加强思政教师队伍建设,打造德艺双馨的高质量育人教师队伍的现实需要。要在内容上要调整、补充和完善教学内容,准确反映和体现廉洁文化;在形式上要完善教学设计,运用多种方式方法,推进廉洁文化融入课堂教学。在载体上要创新思维,利用实践教学、在线课程等,推进廉洁文化融入的多路径选
期刊
我国社会主义先进文化建设工作开展过程中,高校一直扮演着重要的角色。近年来,廉政文化和理念的融入,为高校的文化建设工作提出了更加全面的要求。积极、全面地推进思想政治教育工作,提高廉洁文化建设水平,对于高校自身的发展来说是非常必要的,同时也是提高教师队伍综合素质,打造优质教育环境的必要保障。作为我党的传统政治优势,思想政治工作的开展是整个高校发展的核心与主要生命线。只有全面地重视思想政治工作,最大限度
期刊
新时代,社会公益类事业单位迎来了巨大的发展机遇。绩效考核与激励措施作为事业单位人力资源管理的重要组成部分,与工作人员的工作水平、人力资源管理效果和事业单位的整体发展息息相关。基于此,文章阐述了事业单位人力资源管理中实施绩效考核与激励措施的重要性,总结绩效考核与激励措施实施过程中存在的问题,提出具有科学性、实效性的解决方法。
期刊
将廉洁教育融入新时代高校思想政治工作体系,是我们党反腐倡廉工作的深入和拓展,是进一步加强和改进高校思想政治教育工作的迫切要求和时代呼唤。深入阐释廉洁教育融入新时代高校思想政治工作体系的历史逻辑、理论逻辑、价值逻辑、实践逻辑,探索廉洁教育融入新时代高校思想政治工作体系的现实路径意义重大。
期刊