图是描述和建模复杂系统的通用语言。现实世界中有很多数据可以使用图进行建模,例如社交网络,生物神经元网络,信息网络,蛋白质网络,交通网络等。基于图的数据挖掘问题也因此受到了大量研究者的关注。为了更有效的对图进行特征分析,越来越多的研究者对图表示学习展开研究,图表示学习也成为了近些年图数据挖掘领域中的研究热点。图表示学习旨在将图中的节点、边映射到一个低维度的空间,并保持图的结构与性质。大多数图表示学习方法在欧几里得空间中学习图的特征表示,然而,一个根本问题被这些图表示学习方法忽略:欧几里得空间是否是图表示学习的最合适空间?、最近,一些研究者发现,欧几里得空间在对具有树结构或层次结构的图数据建模时会有较大的失真。为了解决这个问题,一些图表示学习方法尝试利用一种非欧几里得空间,即双曲空间,对图数据进行建模并取得了良好的效果。基于双曲空间的图表示学习也因此成为了非常有前景的研究方向,并受到越来越多的研究者关注。作为一个新兴的研究方向,如何利用双曲空间获得有效的图特征表示成为了研究重点,并存在如下研究问题:（1）鉴于异质图具有更丰富的语义信息,能否在双曲工间中对异质图进行建模以获得更有效的图特征表示?（2）鉴于图深度学习有更强大的建模能力,能否在双曲空间设计图深度学习模型以获得更有效的图特征表示?（3）鉴于一些双曲图算子定义不完善,能否在双曲空间中设计更合理的图算子以获得更有效的图特征表示?此外,双曲空间是否能在实际问题中应用,例如推荐,也是同样是值得关注的研究问题。本论文围绕基于双曲空间的图表示学习展开研究,在双曲空间中学习图数据中节点之间的交互关系,并研究了双曲空间异质图表示学习模型、双曲空间图注意力神经网络、双曲空间图深度学习算子等关键技术,并在推荐系统中将双曲空间图表示学习进行应用。本文的主要工作与创新贡献如下:一、针对异质图数据适用性,本文通过分析异质图的结构特点,提出了双曲空间异质图表示学习模型。具体来说,为了捕获节点之间的结构和语义关系,本工作使用元路径指导的随机游走来对节点序列进行采样。然后,利用双曲空间中的距离衡量异质图中之间的相似度,使节点及其邻居具有较小的距离。最后,推导出相关的优化策略来更新模型。实验结果证明了所提出方法的有效性。二、针对深度学习适配性,本文设计了相关的深度双曲图算子,并提出双曲空间图注意力神经网络算法。所提出模型使用陀螺向量空间作为数学基础,并使用陀螺向量空间的矩阵向量乘法对图特征进行特征变换,并利用双曲空间的积空间模拟非欧几里得空间中的多头注意机制。此外,所提出的模型使用对数映射和指数映射构建并行策略,提高模型的效率。实验结果证明所提出的模型的有效性。三、针对双曲算子合理性,本文发现一些双曲图算子没有被完善定义,提出了拥有更完善双曲图算子的洛伦兹图卷积神经网络算法。具体来说,本文提出了一些新颖的双曲图算子,例如特征变换和非线性激活,并基于洛伦兹距离的质心设计了一种优雅的邻居聚合方法。此外,本文证明了提出的一部分图操作在不同类型的双曲几何中是等效的,表明了所提出双曲图算子的正确性。实验表明,提出的方法优于现有技术。四、为了验证双曲空间图表示学习在推荐场景的价值,本文提出了一种基于几何解耦的协同过滤算法。具体来说,由于推荐数据中用户与物品之间有潜在的多种非欧几里得特性,本工作通过对用户与物品的交互进行建模,捕获多种几何相关的潜在意图信息来学习几何解耦的特征表示。实验表明结果证明了所提出方法的优越性。