论文部分内容阅读
近年来,图像分类逐渐成为图像处理和计算机视觉领域的一个重要研究方向,是机器学习和模式识别的基本问题。随着互联网与信息技术的不断发展,每天都有大量的数字图像通过各种渠道不断的出现在人们的生活中,因此,深入研究大规模图像分类问题具有非常重要的理论意义和实用价值。目前,深度学习在机器学习领域异军突起,获得了巨大的发展,相关的理论和实践成果层出不穷,在大数据处理平台上运用深度学习理论解决图像分类问题是近几年的研究热点。本文在大数据处理平台Hadoop的基础上,采用深度学习方法学习图像的深层次的特征,从而对大规模图像进行分类。具体内容如下:1.提出了基于分布式K-means的图像特征提取算法。系统的描述了单机Kmeans算法所要解决的问题及其执行流程,阐述了分布式K-means算法的基本思想和实现方法,K-means算法被广泛使用来构建视觉词汇的词袋,由于其实施方便和高效的特点,本文提出在大数据处理平台Hadoop的基础上,采用分布式K-means算法提取图像的特征,最终良好的解决了大规模图像分类问题。首先,通过分布式K-means算法计算出聚类中心,即字典,再通过设定的特征提取函数提取图像的特征,最后将学习得到的特征输入到分类器中对图像进行分类。本文在数据集ImageNet和CIFAR-100分别做了实验,研究了预处理(白化操作)操作对字典和图像分类准确度的影响,同时,在数据集STL-10上,对该算法的图像分类准确度进行了验证,通过实验证明,该算法可以达到良好的图像分类准确度。2.提出了基于深度层次特征学习的大规模图像分类算法。采用深度学习的思想,从底层的原始像素开始,做底层的抽象,逐渐向高层进行抽象迭代,最终得到了具有更高抽象性的图像特征,同时,结合分布式处理思想,将算法进行并行化处理。本文提出的模型具有5层,每一层都具有相似的结构,即预处理、图像特征提取和图像特征选择的过程,前一层的输出作为下一层的输入,通过每一层的迭代,在最后一层得到更能准确表达图像的特征,最终输入给分类器进行图像的分类。同时,在数据集ImageNet和CIFAR-100上分别做了实验,对学习得到的字典进行了比较,验证了预处理(白化操作),感受野的大小及其间的步长对图像分类准确度的影响,最终对图像分类准确度进行了比较,验证了该算法不仅能够解决单机系统所面临的计算资源和存储资源的瓶颈,而且能达到良好的图像分类准确度。