多媒体信息检索问题通常描述成挖掘多媒体数据下的隐藏信息并完成快速有效检索的问题。多媒体信息检索一般包含特征学习和排序模型的构建两个方面。在原理上,特征学习的目的是利用多媒体数据的内在结构属性提炼出一种有效的特征表示；而排序模型旨在编码数据样本的潜在排序结构信息。为了寻找能适应检索应用的特征,我们建立新的特征学习模型以作为更好的数据预处理手段。此外,特征学习模型和排序模型之间存在潜在的互动结构：特征学习得到的模型可以反映数据样本之间的内在排序关系；而排序模型的构建同时也能给特征学习提供额外的正则化信息,从而得到在语义概念上有意义的特征表达。因此,特征学习模型和排序模型之间在理论上是互相增强的。基于以上观测,本文旨在提出一种联合优化的模型,其能提取出面向排序模型的特征以进一步改善检索性能,并保证在不降低检索准确度的前提下,大幅提升检索速度。总之,本文围绕多媒体信息检索问题展开了一系列相关研究并取得了以下成果：首先,采用单模态特征学习方法构建一个有效的特征表达。本文给出了一种基于细粒度块矩阵的交替优化最小二乘法,其将非负矩阵分解问题转化成一系列条件独立的子优化问题以实现不同子优化问题的独立计算。为了进一步考虑多媒体数据的特征学习问题中多个模态一致表现出来的信息,本文将不同模态空间中的属性映射到一个一致表达的子空间内,以描述不同模态的共性和差异。同时,模型采用了二值化约束且在分布式集群上实现了并行计算,从而大大提高了算法的效率。在介绍上述特征学习方法之后,本文聚焦于设计联合特征学习的排序学习算法。首先,本文提出了一个层次化联合深度特征表达的排序学习算法,其在获得深度线性特征的同时,也构建了面向结构信息的排序模型。通过采取联合学习的机制,特征学习模块和排序学习模块之间互相增强,同时二者之间的互动也能通过交替优化的方式体现出来。随后,本文从特征群组发现的角度又提出了一个采用深度神经网络自适应地探索特征的群组属性以及不同特征群组的重要性的算法。这些提取出来的群组信息可以作为隐变量加入到隐结构化支持向量机的排序模块中,从而将群组信息发现和排序学习同时建模。