论文部分内容阅读
无监督学习是机器学习中的一个经典任务,主要包括聚类和降维技术。近年来,谱聚类和谱嵌入方法由于其卓越的性能和完整的理论框架,受到了研究者密切的关注,并成为现代无监督学习方法中最具代表性的一类方法。由于谱聚类和谱嵌入都是基于矩阵谱分析理论对数据进行分析,本文将其归纳为基于谱分析的无监督学习方法。该类方法采用图的形式对数据建模,广泛适应各种应用;并有谱分析理论的支持,寻求的大都是全局最优解,因此性能要普遍优于传统的无监督学习方法。但是,随着方法的广泛使用,产生了一些实际问题极大地束缚了其应用与发展。具体来说,在理论方面:关联图构造还主要依靠经验,缺乏理论指导,因而给算法性能带来不稳定性;在应用方面:现有的单模态方法无法有效处理多模态数据。因此,本文针对以上问题展开对基于谱分析的无监督学习方法的研究,并在如下几个方面取得了一定研究成果:
1.基于空间索引技术的谱嵌入关联图构造方法。
谱嵌入方法是通过对由数据构建的关联图进行谱分析得到降维结果,谱嵌入中关联图构造的核心问题是近邻范围的选择,其构造的质量对于谱嵌入方法的性能有着至关重要的影响。本文分析了现有的基于k-近邻构造方法所造成的拓扑不稳定性问题,以及通过遍历对近邻范围k进行自适应选择方法的不足;同时发现现有的构造方法为每一个数据点指定统一的近邻范围大小,不能有效处理非均匀抽样数据。基于以上分析,本文提出基于空间索引技术的谱嵌入关联图构造方法,根据数据分布密度对近邻范围进行自适应选择,以增强谱嵌入方法的拓扑稳定性以及对非均匀抽样数据的适应性。该方法首先提出关联图的最优邻域范围假设,即在保留局部线性的情况下,尽量选择较大的近邻范围;然后,基于该假设,提出基于空间索引技术的“短路”边滤除方法,从而可以根据数据分布密度来自适应地调整邻域范围。基于该构造方法,本文进一步提出了一种更具拓扑稳定性的局部线性嵌入(LLE)算法,该算法可以很好地处理非均匀抽样数据。在S-Curve数据集和Swiss-Roll数据集上的实验结果验证了本文所提出的构造方法的有效性。
2.基于正则化框架的谱聚类关联矩阵构造方法。
不同于谱嵌入中的关联图构造,谱聚类方法把聚类问题等价为关联图的划分问题,因此谱聚类中关联图构造的核心问题是数据的相似性度量,其构造质量对于谱聚类的聚类性能有着至关重要的影响。现有的基于高斯核构造方法在实际应用中存在尺度因子难以选择的问题,以及无法处理多尺度数据的问题,不能描述具有复杂分布的真实数据。因此,本文提出基于正则化框架的谱聚类关联矩阵构造方法,通过机器学习得到最优关联图,以实现利于最优图分割的相似性度量,从而增强谱聚类的性能。该方法首先提出最优关联图所要满足的两个一致性假设:平滑一致性和约束一致性;然后,在保持这两种一致性的目标下,提出基于正则化的优化框架,为最优关联图的构造提供理论保证。基于该构造方法,本文进一步提出了两个谱聚类算法,分别针对无监督和半监督谱聚类。在合成数据集以及真实数据集上的实验结果表明,本文所提出的关联图构造方法充分挖掘数据内部的结构信息,有效地增强谱聚类的聚类性能,并提高稳定性。
3.基于中层融合模型的多模态谱嵌入方法。
在机器视觉以及多媒体信息检索应用中,数据大都呈现多模态特性,并且每个模态通常表现为高维空间中的特征向量。因此,研究多模态谱嵌入技术对于多媒体应用来说,具有非常重要的研究价值。本文分析了目前多模态谱嵌入方法的研究现状,发现现有的解决方法没有从模型本身的学习机制入手,来真正挖掘多模态数据间的互补信息。因此,本文提出基于中层融合模型的多模态谱嵌入方法,该方法试图寻求在所有模态上都尽量平滑的低维嵌入,从而获得优于单个模态的性能。同时,基于对多模态谱嵌入的研究,本文进一步从中归纳得到多模态谱分析方法,该方法可以应用在多模态谱嵌入以及多模态谱聚类中,并可以采用交替优化技术对该方法进行有效地求解。