随着信息技术的发展，如何获取数据已不是一件困难的事情，而如何有效地处理数据已逐渐成为一个亟待解决的问题.海量、高维、非结构化数据成为当前信息处理的难点，如何从中提取简约而有效的知识，是科研人员和-工程技术人员面临的共同挑战之一，也是机器学习和数据挖掘研究的主要内容.为了对此问题进行探索研究，本文以流形学习为主题，从无监督流形学习、潜变量模型、特征提取、基于流形正则化的低秩测度学习等角度，设计切实可行的机器学习算法，并将这些算法应用于解决实际的模式分类问题.大量的实验结果证明了本文提出方法的可行性和有效性。　　 本文的主要贡献有以下几点：　　 ·提出并证明了数据流形上的局部切空间定理，基于这个定理提出了基于局部切空间的拉普拉斯特征映射(LTSLE)算法.LTSLE是一个无监督的流形学习算法，它通过在局部切空间中计算数据点之间的欧式距离来刻画数据点在观测空间中的相似性，并利用流形上的Laplace-Beltrami算子与图Laplacian之间的对应关系，得到高维数据的低维嵌入.LTSLE算法保持了Belkin和Niyogi的拉普拉斯特征映射(LE)算法的许多优点，同时克服了LE算法在热核函数的参数t赋值不合适的情况下算法会失败的不足.为了解决如何将新的样本有效地投影到低维空间的问题，本文还给出了LTSLE算法的线性算法，LLTSLE.可视化和手写数字识别的实验结果证明了LTSLE算法和LLTSLE算法的可行性。　　 ·提出了高斯过程潜随机场模型(GPLRF)，它是高斯过程潜变量模型(GPLVM)的一个监督的扩展模型.GPLRF本质上是一个概率图模型，它假设潜变量关于由监督信息构建的图是一个高斯马尔科夫随机场，并利用高斯过程映射将潜变量与观测变量联系起来.相对于判别的高斯过程潜变量模型(DGPLVM)，GPLRF在实际应用中具有更强的灵活性，潜变量空间维数不受类别数限制.在多个数据集上的实验结果表明，当数据内在维数不高于C-1(C为类别数)时，GPLRF与其他性能较好的算法表现相当，而当数据内在维数高于C-1时，GPLRF算法表现优于DGPLVM和其他一些算法。　　 ·提出了一种基于纠错输出编码(ECOC)框架的特征提取方法，其主要思想是将依据纠错输出编码矩阵训练的基分类器的概率输出作为新的特征，然后在新的特征空间训练一个元分类器(meta-learner)实现重编码和之后的解码.不同于传统的ECOC方法为每类仅赋予一个编码的方式，本文提出的方法可以通过元分类器的重编码为每类赋予多个编码，从而提高算法的泛化能力.在多个数据集上的实验结果表明，本文提出的模型在分类精度上与传统的ECOC方法和特征提取方法相比有明显的优势，而且在分类精度相当的情况下，本方法比目前较好的ECOC方法解码速度快很多。　　 ·提出了一种基于流形正则化的学习低秩马氏距离函数的半监督方法.基于对从一点到流形的投影距离的近似，提出了一个新的参数化的流形正则化方法.不同于以前的一般仅仅利用附加信息的学习方法，本文提出的方法可以进一步利用数据的内在流形信息，直接学习一个低秩的距离测度函数，这是传统的基于l1范数正则化方法无法做到的.最后得到的学习模型关于流形结构和测度矩阵都是凸的，可以用轮替优化的算法进行求解.为了提高学习速度，本文还给出了一个快速算法，使流形结构与距离函数可以相互独立地学习得到，不再需要轮替优化.在多个数据集上的实验结果证明了所提出算法的优势之处。