论文部分内容阅读
字典学习已被广泛应用于图像处理、模式识别和计算机视觉等领域。判别字典学习是字典学习理论中一个重要的研究方向,其核心问题是如何设计判别式提高字典的判别性能。一般来说,判别式的设计可以分为两类。第一类是利用训练样本的特征结合编码系数构造判别式模型。但是,训练样本易受光照和遮挡等因素的影响,导致训练样本的特征与实际存在误差,影响判别式的鲁棒性,也降低了字典的判别性能。第二类是利用原子的自相关性特征设计判别式模型。虽然原子的自相关性特征具有一定的自适应性,如果数据的结构特征非线性的嵌入到高维空间中,基于原子自相关性特征约束的字典学习算法并不能真正地捕获训练样本的结构特征,也会降低字典的判别性能。因此,如何设计鲁棒的判别式模型,使字典尽可能地反映训练样本的特征并具有较强的判别性能,是字典学习理论中的一个重要研究方向,也是本文的研究重点。本文利用编码系数矩阵的行向量(profiles)和原子特征构建基于鲁棒判别式约束的字典学习模型,增强字典的判别性,提高字典学习算法的分类性能。利用原子构建拉普拉斯图表示它们的结构特征,并在此基础上利用流形学习理论构建鲁棒判别式模型,使其既能继承训练样本的结构特征,又能保持原子的结构和自相关性特征。此外,根据原子与profiles的一一对应关系,构建基于profiles的Fisher判别和局部结构特征约束的判别式模型,增强字典的判别性能。本文提出的基于鲁棒判别式约束的字典学习模型能在一定程度上解决判别字典学习算法中存在着判别式的鲁棒性和自适应性差以及字典判别性不强等问题。具体地说,本文的主要研究内容概括如下:(1)根据profiles的定义,给出其在理想字典学习模型中的描述,使得抽象的profiles更加直观和易于理解,并建立原子与profiles间的对应关系。利用理想情况下的字典学习模型推导出原子与profiles间的相似性关系。此外,本章还给出训练样本、编码系数、原子和profiles间的类标关系,并在此基础上提出一种利用profiles自适应地构造原子类标的方法。本章推导出的原子与profiles间的相似性定理以及原子类标构造方法,为设计鲁棒判别式模型提供一定的理论和算法基础。(2)提出一个基于自适应局部特征约束的字典学习算法(Adaptive Locality Constrained Dictionary Learning,ALC-DL)。ALC-DL算法利用字典中的原子构造拉普拉斯图,使其能够反映原子间的结构特征;然后,利用profiles衡量原子间的相似性,并构造基于自适应局部特征约束的判别式模型,使其能够继承训练样本的结构特征。由于原子和profiles在字典学习中不断的更新,基于自适应局部特征约束的判别式模型具有一定的鲁棒性。此外,本章还推导出基于原子局部特征约束的判别式与基于训练样本局部特征约束的判别式间的关系。实验结果表明ALC-DL算法比直接利用训练样本的局部特征约束的字典学习算法取得更好的分类性能。(3)针对目前字典学习算法中没有同时利用原子的局部特征和类标的情况,提出一个基于原子局部特征和类标嵌入约束的字典学习算法(Locality Constrained and Label Embedding Dictionary Learning,LCLE-DL)。首先,LCLE-DL算法利用特定类字典学习算法获得原子类标,并利用原子类标构造原子类标嵌入项,促使同类原子对应的profiles相似;然后,结合原子的自适应局部特征约束项设计双重构约束的字典学习算法,促使原子的局部特征与判别信息可以相互传递,增强判别式的鲁棒性。为了使得基于原子局部特征约束的编码系数和基于原子类标约束的编码系数尽可能的一致,利用2l范数对两种编码系数的差进行约束,并能够减少算法的复杂度。此外,本章还给出LCLE-DL算法与两种类标约束的字典学习算法的关系。实验结果表明LCLE-DL算法比单独利用类标或局部特征约束的字典学习算法取得更好的分类性能。(4)提出基于profiles的Fisher判别和局部特征约束的字典学习算法(Fisher Discriminative and Locality Constraint Dictionary Learning,FDLC-DL)。在FDLC-DL算法中,利用Fisher判别准则构造基于profiles的判别式模型,使得同类原子对应的profiles类内散度尽可能的小,不同类原子对应的profiles类间散度尽可能的大,增强编码系数的判别性能。此外,在FDLC-DL算法中,利用profiles构造拉普拉斯图保持profiles的局部特征,并利用原子衡量profiles间的相似性,在此基础上构造基于profiles局部特征约束的判别式模型。由于profiles矩阵是编码系数矩阵的转置矩阵,因此,基于profiles的局部特征约束项也能增强编码系数的判别性能。在字典学习过程中,profiles随着字典学习不断地更新,因此,FDLC-DL算法中的判别式也具有一定的鲁棒性。为了减少算法的复杂度,FDLC-DL算法也利用2l范数对编码系数进行约束。此外,本章还给出FDLC-DL算法与其它两种字典学习算法的关系。实验结果表明FDLC-DL算法能够有效地提高基于字典学习算法的分类性能。综上所述,为了提高判别式的鲁棒性,本文利用拉普拉斯图、流形学习和Fisher判别准则等方法,结合原子和profiles的特征,提出三种判别式模型,并成功的应用于判别字典学习中。经过大量的实验证明本文提出的三种基于鲁棒判别式约束的字典学习算法都有效地提高了模式分类的性能。