语义认知的文本编码器的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:zhl1021
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能主要包含运算智能、感知智能、认知智能三个不同的层次,目前来说认知智能的实现已经是学术界和工业界研究的热门方向。由于文本编码的结果可以应用于文本分类、情感分析、句法分析、自动问答等多种自然语言处理任务,实现语义认知智能的文本编码器即成为了现有的研究热点。本文首先结合了国内外研究现状,总结了实现一个语义认知编码器所存在的两大难点——多义不确定性和任务不确定性。近几年,深度学习已经成为文本编码器的主流方法,但是无论是现有的卷积神经网络还是循环神经网络,都无法很好的处理多义不确定性和任务不确定性的问题。从2018年6月开始,Google开发的预训练网络BERT出现,2019年又提出了 XLNet和T5等模型,可以较好的解决任务不确定问题,但是这类预训练模型其参数量也显著高于其他对比模型,因此需要大量的预训练数据集,无法在实时系统(如在线参数学习系统)上应用。针对目前现有文本编码器的缺点,本文提出了两种具有创新性和实用性的文本编码器,分别是基于多原型的语义认知编码器和基于预训练的语义认知编码器。前者具有较小的参数量和训练代价,并且经过实验验证可知其效果优于同等参数量级的深度学习网络。后者依托于BERT模型,在BERT基础上进一步提高了其在各个数据集上的性能表现,并且在对参数量不设限的情况下,后者的编码效果会比前者更好。两种编码器的结构都可以通过有效的编码方式处理多义不确定性和任务不确定性两个主要难题。其中,二者都引入了在自然语言处理任务中极少出现的反卷积神经网络作为文本编码器的一部分,可以有效的处理多义不确定性的问题。同时,基于多原型的语义认知编码器通过端到端训练的网络结构,有效的处理了任务不确定性的难题。另外,为了分析两种编码器具体能否处理多义不确定性和任务不确定性两个难题,本文还引入文本反卷积显著性检验和奇异值分解两种方式,对两种编码器的编码结果进行可视化,深度验证了两种编码器的语义认知能力。本文选取了三种数据集,分别是自然语言理解数据集GLUE(共9项任务),文本分类公开数据集(共3项任务)和SQuAD数据集,对两种不同的编码器进行了多角度的实验验证,两种语义认知的编码器在各个数据集上的表现均超过了基准编码器,从应用角度验证了语义认知编码器的实用性和有效性。
其他文献
预应力锚杆抗滑桩(以下简称锚拉桩)是滑坡治理及土建、交通、水利等工程建设中加固边坡的常用方法之一。目前,关于锚拉桩的静力计算理论和方法较为成熟,但用于抗震设计时多与拟静法相结合,不能反映其真实的动力破坏机理,使得这一经济合理的工程结构在用于抗震加固时更多依赖于经验。锚拉桩的嵌岩深度是锚拉桩的重要设计参数,开展锚拉桩锚固段嵌岩深度对支护结构地震动力响应特性的影响的研究,为边坡治理抗震设计提供理论依据
学位
风作为一种重要的气象要素,不仅与空气污染、沙尘暴等密切相关,还是一种重要的气候资源,风能是一种蕴藏量大且分布广泛的新能源。因此本文采用线性倾向估计、五点滑动平均等方法分析了1979-2014年中国地面风速及风能的长期变化趋势。从平均风速和不同大小的风速两方面分析了风速的时空变化特征;从有效风速频率、主风向频率、风功率密度及风功率密度的变异系数等方面分析了风能资源的可利用情况及稳定性。结论如下:(1
随着计算机图形处理技术的发展和普及,图像篡改已经成为人们生活中随处可见的行为,甚至在新闻报道、学术研究等对图像真实性有较高要求的场景下也时有发生,这对社会公平公正带来较大的不利影响,对篡改行为进行有效的鉴别已经成为了一个当务之急。本文针对图像篡改中最常见的篡改方式——复制粘贴篡改进行了研究,分别研究了针对发生在纹理密集区域的复制粘贴篡改和发生光滑区域的隐蔽性复制粘贴篡改的鉴别和区域定位方法。(1)
随着电子商务的高速发展,对包裹物件的分拣工作,已越来越繁重,传统的人工分拣方法,存在效率低下、准确率低以及用人成本逐年增长的问题,随着机器人技术、视觉技术等相关技术的发展,各种高效率、高准确率以及低人力成本的自动分拣系统,已逐步替代人工分拣,本文以设计一个基于物件三维信息的物流自动分拣系统为背景,对其关键技术进行研究。基于物件三维信息的物流分拣系统,其关键在于三维信息的测量,在现有的各种三维测量技
江西省瑞昌市武山铜矿,分南北两个矿带,属我国地下开采铜矿山中规模较大的。多年来武山铜矿一直开采矿山上部的矿体,今后开采的主要目标将会是深部矿体。深部水文地质条件可能会随着开采深度的增加而发生新的变化。因此,研究深部水文地质情况的变化是矿床进入深部开采生产后的一个重要课题。研究深部水文地质条件以及开采后变化,预测武山铜矿深部开采,矿坑在南、北矿带各个水平中段的涌水量,为矿山提供科学依据和技术支持很有
河北省地处我国华北地区,近年来干旱频发。2018年秋季,河北发生了持续性的气象干旱,作为我国重要的粮食产地,这严重制约了当地的农业生产,因此及时、精准、有效的干旱监测十分有必要。本文利用FY-4 AGRI(Advanced Geostationary Radiation Imager)数据对2018年秋季河北省的干旱状况进行监测,探索AGRI数据的处理方法,并与同期的Himawari-8 AHI(
本文利用盐湖卤水提取碳酸锂副产镁渣制备镁质胶凝材料,主要制备了镁质胶凝材料中目前应用较为最广泛以及性能突出的两种水泥,分别为氯氧镁水泥以及碱式硫酸镁水泥。氯氧镁水泥(MOC)通常是由氧化镁和一定比例的氯化镁溶液混合而成。碱式硫酸镁水泥(BMSC)是由氧化镁、一定比例的硫酸镁溶液及外加剂(柠檬酸钠)混合制备而成。目前,MOC和BMSC的市场应用及学术研究领域中,主要以煅烧菱镁矿获得的氧化镁(简称轻烧
重组装饰材花纹的设计多依靠手工制造,通过多次调整工艺来实现逼近目标花纹目的,造成大量人力材料的浪费,通过计算机技术开发重组装饰材花纹设计系统可以极大的缩短设计时间,
采样定理是现代通信系统的理论基础,也是信号分析中最强有力的基本工具之一,广泛应用于数字信号处理等多种领域.在采样过程中,通常将信号看成是一个函数,如果这个函数恰好来自混合勒贝格空间,那么我们可以考虑每个分离变量的可积性.对于非衰减信号的采样和重构,认为信号的增长由衰减加权函数控制.本文主要针对混合勒贝格空间的特性,对非衰减信号的采样和重构进行了讨论与研究.在第一章中,首先介绍了本课题的研究内容,其