互联网的快速发展为人们交流沟通提供了很多便利,用户可以方便地上传和浏览网络中的图像。在线社交网络中的图像通常携带了很多社交网络信息,这些社交网络信息在一定程度上反映了图像之间的关联信息。有效地利用这些社交网络信息能够消除图像中存在的一些歧义,对图像分类是非常有价值的。目前学者们提出了不少基于社交网络信息的图像分类算法,然而大多数算法通常无法有效地利用多种不同类型的社交网络信息。针对这些问题,本文提出了一种新型的基于多关系社交网络的图像分类算法MSNet。MSNet首先利用图像的社交网络信息构造出图像之间多种不同的关系网络,然后利用网络表征学习算法学习出图像在社交网络中的表征向量,最后利用图像的视觉特征与网络表征训练分类器进行图像分类。本文的主要工作包含以下三个部分:(1)提出了一种半监督判别性网络表征学习算法(简称DNE)。DNE算法基于SkipGram模型,可以使用部分节点的类标信息进行半监督的网络表征学习。传统的判别性网络表征学习算法在学习网络表征时通常需要训练一个额外的分类器,通过分类器调整带类标节点的表征向量。这一类方法通常不能很好地利用半监督的信息,且存在训练时间过长,需要大量带标注的节点等缺陷。DNE算法与传统的方法不同,DNE在学习网络表征向量的时候,把每一种类标也当成是一个节点,在学习网络节点的表征向量同时也学习出类标的表征向量,通过最优化网络拓扑结构损失函数与半监督损失函数学得最终的表征向量。(2)提出了一种多关系网络表征学习算法(简称MNE)。目前大部分经典的网络表征学习算法针对的均是单个网络,每次只能学习一个网络的表征向量。而多关系网络表示的是网络中节点之间包含了多种不同的关系,因此可以组成多个不同的关系网络,例如人类之间既可以构造一个工作相关的关系网络,也可以构造一个朋友关系网络。传统的网络表征学习算法通常无法直接学习出多关系网络的表征向量,需要分别学习每个网络的表征,然后拼接在一起。本文提出的MNE算法可以学习出节点在多个关系网络的一致性表征向量,MNE算法通过自适应地学习出每一个关系网络的重要性,根据网络的重要性将多个网络融合在一起,最终学习出节点的表征向量。MNE算法采用一种迭代优化的方法进行问题求解,具有较快的运行速度。(3)提出了一种基于多关系社交网络的图像分类算法MSNet,MSNet使用了上述两种表征学习算法(DNE和MNE)提升图像分类的性能。目前的图像分类算法在利用社交网络信息时通常是简单地把图像携带的社交网络信息当成一个集合,无法充分挖掘图像在社交网络信息上的关联且不能有效地利用多种类型的信息。MSNet采用了一种不同的方法,首先构造出图像之间的多种关系网络,然后利用本文提出的两种网络表征学习算法(DNE和MNE)学习出图像在关系网络中的表征向量,最后同时利用图像的视觉特征与图像的网络表征训练神经网络模型进行图像分类。为了更好地对图像进行分类,在MSNet中,我们提出了五个神经网络模型并对比了不同模型的分类性能。其中有三个模型采用了一种新型的神经网络结构,胶囊网络(Capsule Network)作为分类器,我们对胶囊网络的结构进行了改进,使其适用于MSNet框架。实验表明MSNet能够有效地利用社交网络信息提升图像分类算法性能。