深度学习的腾飞促进了深度表示学习研究的发展,如何为特定对象学习到更优质的特征表示是许多任务的关键所在。一方面,句子表示学习是许多自然语言处理应用的关键技术。一些工作沿句子的句法分析结构组合词嵌入得到句子表示以引入语法信息,这导致了模型的运行效率大为降低,如何提升融入语法信息后的模型效率成为一个亟待解决的问题。另一方面,近年来,图表示学习算法中的图神经网络以及图数据的发展让研究人员可以更好地、系统地分析图结构的数据。不断堆叠层数是目前空域图神经网络算法为提取更深的图结点特征所采用的方法,而这将导致远端结点与中心结点信息交互的缺乏以及“结点爆炸”等问题。那么能否在不堆叠网络的前提下提取深度的图结点信息以避免这些问题呢?本文针对这些问题分别提出了解决问题的模型并进行实验,主要工作和创新性成果如下:（1）在句子表示学习领域中,基于自下而上递归组合框架来引入语法树信息的模型导致了输入结构的异质化,从而降低了模型的运行效率。这些工作往往也未考虑依存关系标签,对语法信息利用不全。本文提出了依存树增强的Transformer模型——Dependency-Transformer的模型,该模型从自注意力机制入手,构建了关系注意力机制。通过这一机制,模型实现了融入语法分析树信息的同时保持模型的并行性,且对不同依存关系标签进行了区分。为了丰富树结构信息,在模型中还采用了一种最短路径编码,增大了语法树信息的利用率。本文在多个该领域任务中对所提出模型进行了评估。实验结果显示,模型成功地利用了语法信息并提升了运行效率,与一些模型相比,在多个数据集上达到最优。（2）图神经网络表示学习算法为了提取更深层次的图信息而选择加深网络层数将在模型中导致多种问题。在大规模图数据中,过多的结点数会导致这些问题变得更加难以处理。本文提出了一种基于Transformer的图表示学习算法——Path SAGE。Path SAGE使用路径采样算法,并采用Transformer以及注意力机制对路径进行聚合,以增强模型的特征提取能力。模型可以通过加长路径来实现扩大模型感受域,并且只需要一级聚合便可以达到常规模型多层堆叠的效果,摆脱了堆叠模型所带来的一系列问题。本文在六个被广泛使用图结点表示学习任务上评估了所提出模型。结果显示,所提出模型可在路径的方式下捕捉到更多的图信息,与一些模型相比,在实验数据集上达到最优或次优。