【摘 要】
:
深度学习的腾飞促进了深度表示学习研究的发展,如何为特定对象学习到更优质的特征表示是许多任务的关键所在。一方面,句子表示学习是许多自然语言处理应用的关键技术。一些工作沿句子的句法分析结构组合词嵌入得到句子表示以引入语法信息,这导致了模型的运行效率大为降低,如何提升融入语法信息后的模型效率成为一个亟待解决的问题。另一方面,近年来,图表示学习算法中的图神经网络以及图数据的发展让研究人员可以更好地、系统地
论文部分内容阅读
深度学习的腾飞促进了深度表示学习研究的发展,如何为特定对象学习到更优质的特征表示是许多任务的关键所在。一方面,句子表示学习是许多自然语言处理应用的关键技术。一些工作沿句子的句法分析结构组合词嵌入得到句子表示以引入语法信息,这导致了模型的运行效率大为降低,如何提升融入语法信息后的模型效率成为一个亟待解决的问题。另一方面,近年来,图表示学习算法中的图神经网络以及图数据的发展让研究人员可以更好地、系统地分析图结构的数据。不断堆叠层数是目前空域图神经网络算法为提取更深的图结点特征所采用的方法,而这将导致远端结点与中心结点信息交互的缺乏以及“结点爆炸”等问题。那么能否在不堆叠网络的前提下提取深度的图结点信息以避免这些问题呢?本文针对这些问题分别提出了解决问题的模型并进行实验,主要工作和创新性成果如下:(1)在句子表示学习领域中,基于自下而上递归组合框架来引入语法树信息的模型导致了输入结构的异质化,从而降低了模型的运行效率。这些工作往往也未考虑依存关系标签,对语法信息利用不全。本文提出了依存树增强的Transformer模型——Dependency-Transformer的模型,该模型从自注意力机制入手,构建了关系注意力机制。通过这一机制,模型实现了融入语法分析树信息的同时保持模型的并行性,且对不同依存关系标签进行了区分。为了丰富树结构信息,在模型中还采用了一种最短路径编码,增大了语法树信息的利用率。本文在多个该领域任务中对所提出模型进行了评估。实验结果显示,模型成功地利用了语法信息并提升了运行效率,与一些模型相比,在多个数据集上达到最优。(2)图神经网络表示学习算法为了提取更深层次的图信息而选择加深网络层数将在模型中导致多种问题。在大规模图数据中,过多的结点数会导致这些问题变得更加难以处理。本文提出了一种基于Transformer的图表示学习算法——Path SAGE。Path SAGE使用路径采样算法,并采用Transformer以及注意力机制对路径进行聚合,以增强模型的特征提取能力。模型可以通过加长路径来实现扩大模型感受域,并且只需要一级聚合便可以达到常规模型多层堆叠的效果,摆脱了堆叠模型所带来的一系列问题。本文在六个被广泛使用图结点表示学习任务上评估了所提出模型。结果显示,所提出模型可在路径的方式下捕捉到更多的图信息,与一些模型相比,在实验数据集上达到最优或次优。
其他文献
在我国城市化的推进过程中,“垃圾围城”的问题不断凸显,为了有效解决这一问题,国家决定推行垃圾分类政策,且这一政策以政策试点的模式被逐步推广。但是各试验点垃圾分类的效果如何?其中蕴含着怎样的作用机制?这些作用机制又如何作为经验又如何转化为决策依据进入下一轮试点中?当前学界在这一领域的探究较少,且研究方法多落入实证主义的窠臼,难以对这一政策中的多元价值体系做出回应,这较大程度限制了研究结果的全面性和可
自然环境风能作为一种广泛分布的低碳、环保可持续能源为数百亿计的物联网传感设备供能问题提供了一种可行的解决方案。传统的风能采集装置以电磁式发电机(EMG)为主,但这种装置受制于固有的铁-磁式本征结构,其启动风速通常在3-5 m/s,使得微风(1.6-5.4 m/s)能量难以被有效收集利用。据报道,全球地表10 m高度的平均风速仅为3.28 m/s,意味着目前的技术还没有充分利用最普遍的低风速风能资源
KdV方程是一个经典的非线性色散微分方程,在数学领域具有重要的研究价值.同时KdV方程也被广泛应用于实际问题中,它可以模拟小振幅长波在非线性色散介质中的单向传播,模拟大动脉中的血压波等生物系统中的波动过程.本文主要研究定义在树形网络上仅有1个控制的非线性KdV方程解的适定性问题与边界控制问题.本文分为以下四个章节.第一章,主要介绍了KdV方程与其边界控制问题的实际背景,同时详细介绍了这类方程解的适
轨道交通作为一种快速便捷、安全节能的交通模式,当下越来越受到青睐与推崇,尤其对于地下轨交来说,不但可以有效减轻普遍存在的拥堵的地面交通负担,同时也扩大了城市交通空间,增加了建筑的可达性。但与此同时,过快的轨道交通建设使得大部分站点出现了“千站一面”、缺乏特色、不够人性化的窘境,并且大部分轨道交通空间处在地面以下,整个环境较为封闭、空气流通较差、缺乏自然采光等劣势条件带给人的心理感受不佳,亟需采取相
改革开放以来,中国在减少贫困人口和改善贫困人口生活方面取得了瞩目成绩,贫困发生率不断降低,2020年实现了绝对贫困标准下贫困人口全面脱贫。然而必须意识到,中国现阶段发展仍然存在不充分不平衡的特点,需要将减贫的重点转移到相对贫困的问题上,缩小财富差距,改善低收入人群生活,扩大中等收入人群规模。在中国的人情社会中,社会资本在资源配置和信息交换等方面发挥着重要的作用,起到了对正式制度的重要补充。认知性社
巴蜀地区传统聚落经过时代的变迁与人文要素的积淀,形成了形态各异、特征鲜明的山水格局。研究其空间形态特征及其形成与传承的本质规律,有助于城市地域特色的保护与传承。本文将以巴蜀地区54个国家级历史文化名镇为样本,基于实地调研与历史资料,采用形态分析,GIS空间分析、数理统计等方法,分析传统聚落的空间分布特征;解析山水格局的典型构成要素及其构成的典型空间组合形式;提炼出具有典型性的山-水-聚落空间组合形
近些年,随着深度学习的不断发展,越来越多的研究者关注于深度学习技术在医学图像领域的应用。目前,有许多基于深度学习的方法被广泛提出且致力于提升医学影像诊断的效率和正确性。但在医学领域,影像十分复杂且标注需要较强的专业知识,这导致针对医学图像的标注过程往往是低效的、易出错的且成本昂贵的。因此严格的标注过程导致医学图像数据集的规模通常很小,并且数据集中存在大量标记错误的噪声样本。当对模型进行训练时,这些
湿式双离合器自动变速器(Dual Clutch Automatic Transmission)是我国自动变速器技术领域研究的重点和热点,搭载湿式DCT车辆的起步过程控制对改善驾驶舒适性、提高整车动力性和燃油经济性有重要意义。湿式DCT起步过程需要精准的控制离合器的接合和分离,以确保传动系统的转矩能够平稳传递,但由于湿式离合器存在摩擦系数变化和随服役时间增加发生摩擦性能衰减的现象,给离合器接合和分离
哺乳动物后代的生存离不开乳腺在哺乳期间提供的充足脂类,细胞死亡诱导DFFA样效应蛋白A(CIDEA)是一种脂滴外壳蛋白,在泌乳乳腺中高水平表达,在脂代谢过程中发挥重要作用。本文综述了CIDE蛋白家族及CIDEA在奶牛脂代谢中的作用。
在经济新常态背景下,中国的发展面临经济结构绿色转型和优化就业结构的双重压力。十四五规划指出,作为绿色发展的重要环节,绿色金融给经济可持续发展提供了切实可行的路径,强调要大力发展绿色金融。同时,规划明确指出要继续坚持就业优先政策。推动绿色金融的发展会对我国就业产生怎样的影响?如何兼顾高质量转型和就业稳定?对此类问题的探讨和研究具有重要的现实意义。绿色信贷是绿色金融的重要内容,也是最典型的代表性工具。