核学习是一种非常流行的非线性分类问题解决方法,它通过构建核矩阵来描述样本在高维空间的相似程度,达到种类区分目的。多核学习是核学习新的发展和研究方向。相比于传统的单核学习,多核学习整合多个子核到一个统一的优化框架内,从而寻求多个子核之间的一种最佳组合。多核学习可以有效避免核参数的经验调节,减少了人为参与。另外,当子核对应单个特征或者每一维时,多核学习还可以很好地解决特征选择和维数约简问题。但是多核学习的高计算复杂度,使得它在学习训练过程中花费了大量的时间。这一特性大大阻碍了多核学习在实际工程中的应用。本论文针对这个问题,通过预先筛选有益于分类的子核和构造随机核的方法来加速多核学习的训练过程。此外,凭借在多核学习研究过程中得到的理论,本论文成功把多核学习应用到高光谱图像和自然图像分类中。本论文的工作可以具体概括如下:1.针对多核学习复杂度高的问题,提出了选择性的多核学习。通过理论分析,发现多核学习可以看作是集成学习的一种特殊形式。因此,选择性多核学习使用集成策略预先选择一些高辨别大差异的子核。为了评估核的辨别能力和差异性,设计了一种新的核评估方法。与经典的核评估方法核排列相比,该评估方法能提供量化的结果与更精确的差异性评估。经过预先选择有益于分类的子核,选择性多核学习节省了内存,加快了训练过程。尤其是该方法可以与多核学习L∞范数约束相结合,从而大大节省了计算时间和内存。其整个运行代价仅仅相当于运行一次单核学习。通过大量的实验验证,该方法比传统的多核学习方法,速度更快,耗用内存更少,同时获得了相当或者更高的分类精度。2.针对多核学习中核矩阵构造耗时太长的问题,提出了基于随机核的多核学习方法。由极限学习机得到启发,当单影层神经网络中的隐层节点数目足够多,在隐藏节点权重随机赋值的情况下,给定一个在任意区间无限可导的激活函数,Single-hidden Layer Feedforward Neural Network(SLFN)可以无限逼近拟合输入样本集。由于激活函数中的权重可以随机赋值,ELM是一种无参数的学习机。论文使用Extreme learning machine(ELM)中的激活函数为多核学习构造随机核,减少了待优化的子核规模。尤其是该方法跟上文的选择性多核学习方法相结合,从而大大加速了多核学习的核构造和训练时间。并且,通过Rademacher复杂度分析,多核学习的一般性误差上界随着子核规模的减少而降低。因此,本文的方法理论上可以获得更好的分类结果。通过在多个数据库上验证,基于随机核的方法使得多核学习速度更快,占用内存更少,而且拥有相当或者更高的分类精度。3.多核学习应用于高光谱图像分类识别。针对高光谱图像维数过高的问题,提出了一种两阶段多核学习方法来进行维数约简。由于多核学习一般性误差的上确界随着子核数目的增加而升高,高光谱图像中过高的维数生成了大量的子核。因此,直接使用多核学习对高光谱图像进行维数约简是不合理的。论文设计了一种两阶段的多核学习方法,通过预先构造有益于分类的子核,来降低待优化的子核数目,从而获得比直接使用多核学习更好的分类结果。在多个高光谱图像上实验验证,对比于经典的特征选择方法,两阶段的多核学习获得了更佳的分类性能。4.多核学习应用于高光谱图像不平衡分类识别。当分类任务中存在某些种类样本数量过少的时候,传统的分类方法会因为倾向于把样本划分为样本数目较多的种类,而不能胜任。为了平衡各个种类的关系,集成学习是一种常用的方法。但是现有的集成方法没有考虑所选的分类器,因此其所提供的集成策略针对某一具体的分类器而言往往不是最优的。因为高光谱图像的高维小样本特性,使得支撑矢量机(Support Vector Machine SVM)成为高光谱分类中一个常用的分类器。因为SVM使用maximum margin作为分类准则,所以论文充分考虑了高光谱图像分类器的特性,借鉴了多核学习的方法,提出了一种基于maximum margin的集成策略。经过多个高光谱图像的实验验证,该方法在高光谱图像分类上,要优于传统的不平衡分类方法。5.多核学习应用于自然图像分类识别。针对自然图像分类中的金字塔划分方法过于单一的问题,提出了一种弹性的金字塔划分方法。论文不再拘束于金字塔正交四划分的形式,可以任意地划分图像。因此。如何从随意的划分方式中选出最佳的一组划分方式就非常重要了。论文采用第一个工作中的核评估方法来评估不同划分方式的好坏,然后使用克隆免疫算法搜索出一组最佳的划分方式。通过在多个自然图像数据库上实验比较得出,弹性金字塔方法比传统的金字塔方法在自然图像分类识别上具有更大的优势。