论文部分内容阅读
随着信息技术时代的发展,信息采集手段与技术逐渐增强,人们所获得的高维数据(High-dimensional data)正在以指数的形式快速增长,越来越多的不确定性数据和海量模糊数据体现了高维小样本的特征,高维数据出现在人们生产、生活的各个角落。例如:随着摄像机像素的增加,图像分辨率越来越高,图像数据维数也随之增加。高分辨率图像提高了图像识别等应用性能的同时,也增加了识别系统等应用的负担。因此,如何处理高维数据,精确地为高维数据分类成为机器学习领域的研究热点。本文主要针对高维数据分类问题进行展开,针对高维数据分类过程,本文旨在利用维数约简方法对高维数据中重要信息进行挖掘并将高维数据降维,然后利用距离度量算法以更准确地衡量样本间的相似性,完成高维数据间相似性度量以提高高维数据分类的精确度。此外,针对高维数据的多样性,本文旨在利用多视角学习理论将维数约简算法拓展至多视角框架下,以充分理解样本的多视角高维特征信息并提高维数约简等应用的性能。最后,利用本文的研究技术,针对高维数据分类的各个实际应用,使用深度学习完成真实生活中的车型细分类任务,以便利人们生产、生活的方方面面。针对高维数据分类过程中所面临的一系列难题,本文分别对高维数据维数约简(Dimension reduction)、距离度量(Distance metric)、多视角学习(Multi-view learning)和深度学习(Deep learning)进行研究,并取得了下述成果:(1)面对高维数据分类,首先要将高维数据进行维数约简以提高分类系统处理速度与分类精度。针对传统稀疏子空间学习中保持了一些错误的样本相关性问题,本文提出 了局部结构化稀疏保持嵌入(Locality structured sparsity preserving embedding.LSPE)算法。首先,LSPE算法将高维数据的局部结构化信息融入稀疏表示中构建所有高维样本间的稀疏相关性,以此避免稀疏表示全局特性所构造样本间错误稀疏相关性问题;然后,LSPE算法保持了高维样本的稀疏相关性并构建低维子空间,将高维样本映射进低维子空间并获得高维样本的低维表示;最后,由于LSPE算法是无监督的子空间学习算法,针对现实数据中通常存在有标签与无标签样本的问题,将LSPE算法拓展至半监督框架下,获得半监督子空间学习方法。本文所提出的维数约简方法能将高维数据进行降维并提高分类精度,为高维数据进行预处理以便利后续距离度量等任务的开展。(2)在使用维数约简后获得高维数据的低维表示,为了获得更好的高维数据分类结果,距离度量学习算法对高维数据分类系统至关重要。针对图像数据存在的语义鸿沟问题,为了更准确地衡量图像样本间的相似性以提高分类精度,提出了语义判别的距离度量学习(Semantic discriminative metric learning,SDML)算法。首先,SDML算法最大化了归一化散度的几何均值,以此使得不同类均衡的分散在度量空间中,避免了语义鸿沟问题;然后,SDML算法纳入最大边界准则,使得来自不同类的样本间距离尽可能的大,从而增加了距离度量的判别能力。最后,SDML算法引入了2个约束以获得最优且有效的距离度量矩阵。该方法针对图像数据语义鸿沟问题,提出了一种有效的距离度量学习算法,在图像分类问题上提供了一种有效的方法。本文所提出的距离度量学习算法能恰当地衡量样本间相似性,提高高维数据分类系统精度。(3)虽然维数约简、距离度量分别从不同的角度提升了高维数据分类的速度与精度,然而对多视角高维数据的分类仍是一项充满挑战的研究课题。目前,同一样本往往有多个不同的高维特征数据表示,为了处理样本的多视角高维特征,充分学习各个视角特征富含的样本信息,兼顾各个视角下特征中互补信息实现高维数据分类是至关重要的,本文提出了协同正则化的多视角稀疏重构嵌入(Co-regularized multi-view sparse reconstruction embedding,CMSRE)算法与多视角稀疏保持投影(Multi-view sparsity preserving projection,MvSPP)算法,对多视角特征进行维数约简。CMSRE算法充分学习了不同视角下样本的稀疏相关性,并在不同视角下进行稀疏重构的保持。通过协同正则化框架,使得不同视角下低维子空间互相学习,充分保持不同视角下的稀疏相关性信息并获得各个视角下的低维表示。最后构造了一种迭代求解的方法获得各个视角下最优的低维表示。MvSPP算法将各个视角特征映射进核空间,避免了多视角特征维数不同难以处理的问题,并构造了各个视角下投影矩阵将多视角特征映射进同一维数的低维子空间内。本文将维数约简算法进一步拓展至多视角框架下,使得高维数据维数约简过程中充分学习了样本各方面的信息,以提高高维数据分类性能。(4)随着大规模图像分类技术的发展,图像数据维数不断增长,如何充分利用高维数据分类的相关技术解决现实问题极为重要。高速公路上进行车型识别对犯罪侦查、高速管控等意义重大,本文针对高速公路车型识别问题,提出了多路径深度卷积神经网络(Multi-path DCNN,MP-DCNN)。首先,使用目标检测深度模型(Single shot multibox detector,SSD)将原始车辆图片进行检测,去除背景无价值信息,从中检测出车辆的多个部件:车头、车标、整车等。然后,使用MP-DCNN框架同时学习车辆的多个部件图片信息,并使用多个尺寸输入检测MP-DCNN框架性能。最后,使用测试数据对训练好的MP-DCNN进行测试,得到车型识别系统输出结果。本文针对高维数据分类过程中的一系列问题进行研究,面对高维数据提出维数约简算法进行降维,在获得高维数据的低维表示后使用距离度量学习算法衡量高维数据间相似性以提高分类精度,此外针对高维数据表现形式多样,将维数约简算法拓展至多视角框架下。最后,针对本文所研究的技术完成真实场景下车型细分类任务,将科研成果转化为实际应用为人们生产生活等各方面提供便利。