近年来,随着共享网站（如微博、微信、Facebook等）的快速发展,日益增长的多媒体数据（包括图像、视频等）已经成为当今社会记录、表达和传递信息的主要媒介。如何使计算机能够高效准确得理解这类数据的语义内容,已经成为计算机视觉领域的主流研究方向。其中,图像的特征学习,尤其是如何提取更具有判别性的图像特征,作为实现大多数视觉子任务的一项关键基础研究,受到了广泛研究者的关注。现有的特征学习方法通常关注于图像中的直观特征,未能充分挖掘并利用各对象及特征间的结构关系。因此,为提高对数据内容的理解程度,本文将图像的结构信息嵌入到特征学习中,并以不同的视觉分析子任务（场景识别、图像生成、人脸聚类）作为研究点。本文重点研究不同形式的图像结构信息,针对每个子任务设计了一系列对应的学习模型,来提升各个子任务的处理性能。本文的主要创新性研究成果总结如下:1.本文考虑语义层次结构,受启发于现实世界中对象具有层次结构,并利用层次结构这一特性,着重研究对场景识别任务的影响。现有基于图像表示的场景识别算法无法描述图像更丰富的含义,为此,本文提出了基于高维特征表示的场景识别模型。该模型预先构建了一个新的数据字典,其中包含了特征名词（场景对象）、形容词（场景颜色）、动词（场景特征）。此外,模型中引入多标签类别概念,将每个特征看作一个类别,多类预测将输出多个具有语义层次结构特征,同时,为保证特征具有更丰富的判别性,预测得出的每个特征均对应一个概率值。即,一副图像经过模型后,得到与词汇表对应的图像特征概率向量。图像特征向量中的每个特征具有不同的概率值,在多个基准场景数据集的实验结果表明,提出的模型性能明显优于主流的图像表示方法。2.为了弥补卷积操作的局部性,本文进一步考虑了图像内的几何结构,同时受启于图像中复杂的几何轮廓存在长距离依赖特性。本文融合这一特性,着重研究仿妆人脸图像生成这一图像生成的子任务上。生成的仿妆人脸图像需保留仿妆者的身份信息的同时妆容尽可能地与目标者相同。本文提出了基于协同注意力机制的新型生成对抗网络模型,该模型在生成器中引入了协同注意力机制,该机制利用同一序列内所有位置来计算序列中某个位置的响应,对人脸图像区域中长距离、多层依赖关系进行建模,来学习图像中的几何结构信息,实现实例级别的仿妆学习。同时,为增强判别性,本文在真伪判别器的基础上,额外引入了一个妆容风格鉴别器。为了生成任意妆容且更精确的人脸图像,本文还构建了一个仿妆人脸数据集。在本文提出的仿妆人脸数据库及公开的人脸数据库上大量的实验的量化指标证明了,本文提出的模型可生成质量更高的仿妆人脸图像。3.为了弥补整体数据结构信息的缺失,本文考虑数据集的全局拓扑结构,受启于同一身份的图像之间存在关联关系。本文着重研究人脸聚类这一人脸识别任务中的基础问题。人脸聚类的目标是,将无标签人脸数据划分为不同的簇（不同身份）。为学习图像级全局拓扑关系,本文提出了一种基于全图学习的人脸聚类算法。该算法首先根据设计的加权相似性对数据库中的所有图片进行构图。然后,利用构建的图模型学习图中顶点间的关联关系。模型将人脸聚类问题转化为一个新边的预测问题,即通过确定两张人脸图片之间是否存在边连接,进而判定两张图片是否隶属同一个簇（身份）。为直接学习图像间的关系,模型将图中顶点与其邻接的候选集之间的关系进行编码,并作为连接（边）属性进行学习。为验证提出算法的有效性,本文分别在4个基准数据集上对提出的算法和经典聚类算法、基于图卷积神经网络的聚类算法进行对比。实验结果显示,提出的算法在不同数据集上均有良好的聚类效果并优于主流算法。