论文部分内容阅读
流形学习方法(Manifold Learning)自2000年在著名的科学杂志《Science》上被首次提出以来,已成为信息科学领域的研究热点。在理论和应用上,流形学习方法都具有重要的研究意义。首先,流形学习涉及数学、计算机科学、信息科学等多个领域,是新兴前沿性交叉科学研究。其次,流形学习促进了数学中多领域的交叉。最后,流形学习在机器学习、模式识别和数据挖掘等领域也具有重要应用。
尽管流形学习在理论和应用上都取得了成功,但仍面临很多挑战性的问题,具体包括:
1)现有流形学习方法对稀疏分布或非均匀分布的数据学习效果欠佳,同时,对噪音数据或包含奇异点(outlier)的数据稳健性不强;
2)现有流形学习方法隐式地学习数据隐含的本质自由度,缺乏从高维数据流形到低维嵌入的非线性显性映射关系;
3)现有流形学习方法缺乏一种自然的定量评估准则,无法对学习得到的低维嵌入的质量进行定量评估;
4)流形学习方法尚未在实时视觉理解中获得直接应用,如实时目标检测、跟踪等,而连续的视觉输入图像是一类典型的流形分布数据。
针对上述问题,本论文对流形学习方法和应用进行了深入的研究。
1)针对数据分布问题,我们提出了一种新的局部切空间近似算法,以及基于新算法的局部切空间排列算法,解决了对稀疏分布或非均匀分布数据的流形学习问题。
2)针对显性映射问题,我们提出了一种新的基于多项式映射的非线性显性映射,以及一种新的具有显性映射的非线性流形学习方法。
3)针对评估准则问题,我们提出了一种新的通用性定量评估方法,能够有效地对等度和正则化嵌入的质量给出定量的评价指标。
4)针对动态视觉跟踪,我们提出了一种基于流形学习框架的跟踪特征提取方法,并成功将其应用于机器人视觉平台对人的跟踪和飞行器视觉平台对建筑物的跟踪。
论文的主要创新点和贡献如下。
1)针对数据分布问题,本文分析了当数据稀疏分布或非均匀分布时传统切空间近似算法失效的原因,以及数据流形的局部曲率和分布对切空间结构的影响,提出了一种新的局部切空间近似算法。新算法能够为数据流形提供可靠的局部切空间近似结果,并且比主流方法更为精确。基于新算法,我们提出了一种改进的局部切空间排列算法(Improved LocalTangent Space Alignment,ILTSA)。该算法通过对局部切坐标系进行排列,对数据在流形上稀疏分布或非均匀分布的极端情况,也能有效地恢复数据流形的内在几何结构。基准测试数据集上的实验结果也验证了新算法的有效性。
2)针对流形学习缺乏显性映射的问题,本文针对流形学习提出了一种非线性显性映射关系,其基本假设是高维输入数据和其低维表示之间存在多项式映射关系。这是在研究界第一次提出针对流形学习的非线性显性映射关系。特别地,本文将新提出的多项式映射应用到局部线性嵌入(Locally Linear Embedding,LLE)方法,获得了一种具有显性映射关系的非线性流形学习算法-邻域保持多项式嵌入(Neighborhood PreservingPolynomial Embedding,NPPE)。基准测试数据集上的实验结果表明,新提出的映射在保持局部邻域信息和高维数据的非线性几何结构方面,比以往的方法更加有效。
3)针对流形学习缺乏通用性定量评估准则问题,本文中我们首次提出一种多元尺度独立的嵌入质量评估准则(Multiscale Independent EmbeddingQuatity Assessment,MIEQA)。我们首先给出两种新的多元尺度独立的局部度量,其能够有效计算高维邻域和低维邻域两个结构间的相似度。基于这两种度量提出的MIEQA方法,可有效地从局部和整体两个方面定量评估等度和正则化嵌入的质量,并可作为流形学习模型选择和模型评估的一种自然的工具。基准测试数据集上的实验也验证了MIEQA方法的有效性。
4)针对流形学习在动态视觉中的应用,本文提出了一种基于流形学习框架的跟踪特征提取方法,并成功将其应用于机器人平台对人的头部跟踪和飞行器平台对建筑物的跟踪。从算法设计角度,我们提出了保持本质自由度连续性的有监督流形构建方法,并通过流形学习,将降维的过程转化为保持本质自由度连续性的过程。从应用角度,我们获得了一种新颖和低维的视觉跟踪特征,并成功将其应用于机器人视觉平台和机载视觉平台在复杂背景下对目标稳定、实时的跟踪。仿真实验结果也验证了新特征的有效性。