论文部分内容阅读
稀疏编码(sparse coding)是神经生物学、心理学以及计算机科学的交叉研究领域。近年来,许多科学家对稀疏编码理论展开了全面深入的研究,并取得了一系列重要的研究成果。通过对稀疏编码的研究,可以使计算机在一定程度上模拟人类的感知系统,对于人工智能、模式识别领域的发展具有重要的实用价值。在模式识别领域,稀疏表示(sparse representation)被认为是一种新型、有效而且鲁棒的特征表示方式,成功地应用在了一系列实际问题中。本论文以稀疏编码理论为基础,针对当前模式识别领域的前沿研究问题——流形学习、目标回归和子空间聚类问题,提出了一系列基于稀疏编码的优化模型,对当前的方法进行改进或完善。本文的主要研究内容和创新点如下:1)深入分析稀疏编码理论,对“稀疏性”这一特性进行重点探讨。引入经典的稀疏正则化问题——Lasso问题,并对求解此数值优化问题的传统方法和最新提出的快速优化算法进行讨论,通过实验比较了它们之间的性能差异并做出相应总结。2)提出了一种基于l1图正则的半监督流形学习算法((?)l-graph regularized semi-supervised manifold learning, LRSML),定程度上解决了当前流形学习算法在邻域构造方面过于单一化,并且对数据噪声缺乏鲁棒性的问题。当前的流形学习算法通常都是基于欧氏距离来构造数据的邻域和局部结构。但是,数据的欧氏空间结构经常由于噪声的影响而受到破坏,所以鲁棒性是一个成熟流形学习算法所必须考虑的。在LRSML学习的过程中,构造了基于欧氏距离的KNN图和基于稀疏编码的l1图。该方法可以看成是流形学习算法Laplacian Eigenmaps (LE)和稀疏编码的一种有效结合。实验结果表明,LRSML算法能够构建反映数据本质的低维流形结构。为了进一步获得测试数据的低维表示,本文提出了一种基于LRSML模型的线性扩展方法Linear LRSML (L-LRSML),旨在获得保持LRSML流形结构的最优线性投影。通过人脸识别这一具体应用问题,将L-LRSML和当前一些常用的线性降维方法进行实验对比,实验结果表明L-LRSML模型的准确率是最高的。3)提出一种基于凸正则的稀疏回归算法(Convex Regularized Sparse Regression, CRSR),一定程度上解决了当前的回归算法对于噪声和异常数据缺乏鲁棒性的问题。CRSR使用低秩约束以及稀疏正则对回归模型进行建模,旨在去除数据集中的噪声和异常数据,同时构造基于干净数据集的回归模型。CRSR方法可以看成是Lasso模型和鲁棒主成分分析法的一种有效结合。针对人头姿态估计这一具体应用问题,论文中将CRSR方法和当前一些常用的回归算法进行了实验对比,实验结果验证了CRSR方法的鲁棒性和有效性。4)提出一种改良的稀疏子空间聚类算法(Refined Sparse Subspace Clustering, RSSC),定程度上解决了当前子空问聚类算法对于数据噪声缺乏鲁棒性的问题。通过对原始样本集进行低秩约束,RSSC旨在恢复数据的原始低秩结构,同时计算每个数据样本基于此干净数据集的稀疏表示。稀疏表示系数越大,说明两个样本之间关系越紧密,来自同一子空间的可能性也就越大。通过模拟仿真实验,验证了RSSC模型具有恢复原始数据低秩结构的能力。同时,RSSC模型所构造的相似度矩阵具有明显的稀疏性和块效应,为最终的数据划分奠定了坚实的基础。本文进一步针对运动分割这一具体应用问题,将RSSC算法和目前常用的子空间聚类算法进行实验对比,实验结果表明RSSC算法的子空间聚类误差是最小的。