论文部分内容阅读
维数约简（即降维）是机器学习的基本任务之一。降维旨在从高维原始样本空间中提取或选择关键的低维特征,从而解决高维特征导致的维数灾难问题。以主成分分析（PCA）和线性鉴别分析（LDA）为代表的传统特征提取方法,由于是基于数据全局结构来提取低维特征,当高维数据的分布有着明显的局部性或有近似流形结构时,传统特征提取方法的效果往往不佳。而基于流形学习的特征提取方法却能够保持高维空间的局部几何结构,有可能获得更好的分类性能,但仍存在不足。通过分析比较这些方法的优缺点,本文总结出它们存在的三个问题。第一,以LDA为代表的一些方法会存在小类别问题,即在数据样本类别数较小时,学到的投影个数会受到限制。第二,这些方法有的开始将稀疏约束引入到流形学习,即通过正则项来约束学到的投影,使之具备稀疏的特性,但其中很多方法是以1L范数正则项来获取稀疏性,而不具一致稀疏性。第三,大部分方法使用2L范数来度量损失,导致算法对数据野点较为敏感,而真实数据常常存在噪声,因此需要更多地考虑如何提升算法的鲁棒性。针对上述总结的三个问题,基于流形学习和联合稀疏学习理论和方法,本文提出了三个新算法,分别是联合稀疏局部保持投影（JSLPP）、联合稀疏近邻保持投影（JSNPP）和基于深度特征的联合稀疏局部保持投影（DL-JSLPP）。对于问题一,本文通过设计新的目标函数来避免小类别问题;对于问题二和问题三,本文所提出的基于流形学习的方法能够获取具备联合稀疏特性的投影,能够同时进行特征提取和选择。又因为学到的投影具备联合稀疏特性,提取的特征具有更强的解释性。三个算法在理论层面上联系紧密,层层递进。首先,三个算法提取的特征都能够保持原始数据的流形结构或局部几何结构,但它们保持原始数据局部结构的方式是不同的,JSLPP和DL-JSLPP是通过保持高维空间中近邻点之间邻域关系来实现的,JSNPP是通过保持高维空间中近邻点之间的重构关系来实现的。相比前两个算法,DL-JSLPP的不同之处是将神经网络模型提取的深度特征引入到传统的联合稀疏投影学习模型中,深度特征有助提升子空间学习算法的鉴别性。对上述所提的三个算法,本文采用交替迭代的方法来求解它们的最优解,分析了它们的时间复杂度并证明了它们的收敛性。本文在多个图像图像库上对它们进行实验,结果表明,所提三个算法的图像特征提取与识别性能在大部分情况下能优于若干传统特征提取方法、基于流形学习的特征提取方法及其最新的变异方法。