核方法在机器学习和统计学习理论中的理论研究和应用中受到越来越多的重视。大概说来,所谓的核方法是指首先构造一个从数据集到一个Hilbert空间(特征空间)的非线性映射然后在特征空间上构造一个线性算法。核方法是一种非线性方法。对核方法来说,核的选择是一个至关重要的事情,直接影响实验和应用的效果。本文针对两类三个具体问题讨论了核的选择的问题:有监督学习的回归和分类问题,无监督学习的降维问题。本文的贡献如下：　　 ⑴作为准备知识,证明了hp(GK):=(λI,+GK)-p是单调不增的凸泛函(定义见第二章)对所有的p∈N成立,其中GK是核对应的核矩阵,在此之前,只有p=1的结果。这个结果对最优核问题的理论分析至关重要。　　 ⑵对有监督学习(supervised learning)的回归问题(regression problem)提出了一个新的模型从有限给定核的线性组合中来学习最优核,并理论分析了该模型,证明了问题是凸问题。更重要的是在一定条件下,该模型可以被一个被另一个简单的模型逼近,该简单模型借助Schur引理转换成一个半定规划(semidefinite programming)问题,可以直接使用软件包求解。　　 ⑶对无监督学习(unsupervised learning)的降维问题(dimensionality reduction),本文建立一个严格框架：本性核主成分分析(essential kernel principle component analysis,EKPCA).常见的降维方法,比如核PCA,Laplacian特征映射(Laplacian eigenmaps),等距映射(ISO maps),扩散映射(Diffusion maps)都属于这个框架。这个框架对降维问题核方法的最优核选择有很大的指导意义。