论文部分内容阅读
近年来随着互联网用户的不断增加,用户产生的信息呈现出指数级的增长,这些信息中的很大一部分都是以数字图像的形式存储的,面对海量的图像数据,在充分识别图像的基础上既要对其准确的分类,又能做到速度较快,这个问题已经越来越受到研究人员的关注。不同的图像场景通常以一些具有代表性的图像语义内容来体现其语义信息,因此可以用一组语义类别来标注图像数据。图像场景分类不仅有利于图像分类和检索,同时诸如目标识别等更高层次的图像理解,图像场景分类也可以为其提供准确的语义信息。然而图像底层特征和高层语义之间是存在鸿沟的,为了能够消除它们之间的鸿沟并提高准确率,将图像的局部不变特征转化为局部语义是目前解决该问题的一种重要方法。同时,Hadoop平台的出现为大规模图像处理提供了一个可靠、稳定、高效的计算平台。因此本文在Hadoop平台下完成了基于局部语义的图像场景分类,本文的主要工作有以下4个方面:(1)由于Hadoop平台不支持图像数据处理,因此本文设计并实现了基于MapReduce的图像并行化处理平台,使得单幅图像成为MapReduce的处理单元,解决了Hadoop不能够并行处理图像数据的问题。(2)由于图像处理算法通常使用C、C++和MATLAB等编写,而Hadoop平台是由Java编写,因此,针对二者源码冲突的问题,本文借助Java CV来调用底层的OpenCV库,同时在Hadoop集群的每个节点安装OpenCV库,实现了OpenCV跨平台、分布式提取图像底层特征。(3)BoF模型借鉴了文本处理领域中Bo W模型的思想,将图像看作由视觉单词组成的文档,通过计算图像中不同的视觉单词出现的次数,得出图像视觉单词词频向量。由于该方法能够较好地将图像的SIFT特征转化为图像局部语义,因此本文利用MapReduce实现了BoF模型,能够快速地将大量图像SIFT特征转化为图像局部语义。(4)LDA算法最初用于文本分类,而正是因为图像语义的出现,所以随后LDA被应用到图像场景分类领域中。因此本文研究了LDA算法的并行化原理并利用MapReduce实现了并行LDA算法,在此基础上完成了图像场景分类的研究。