论文部分内容阅读
场景识别是计算机视觉领域的重要研究方向之一,在许多方面都有广泛的应用。由于数据量的快速增长,传统的算法在解决大数据量的场景识别问题中表现出了许多的不足。随着卷积神经网络(CNN)的提出,基于CNN的场景识别方法也得以出现,通过训练好的CNN网络对场景图像进行特征提取,在此基础上进行多种空间全局特征的提取,使得场景识别的效果有了极大的提高。虽然CNN特征取得了令人鼓舞的表现,但是它们中一部分仅利用了场景中的空间特征。而另一部分虽然利用了场景类别间的对象特征,但其特征包括不同场景中共同对象引起的一般特征,削弱了场景间的区分能力。大多数现有的场景表示方法利用了类间独立场景中构成对象的特征,忽略了不同场景中普通对象造成的负面影响。通用对象的一般特征造成了不同场景之间的一般性,从而削弱了场景之间的判别特性。为了能够解决场景识别中存在的类内差异性与类间相似性问题,本文提出一种基于双卷积神经网络的场景识别系统和基于主题模型对象判别特征的场景识别方法,并以此为根据设计了卷积神经网络模型,应用于场景识别中。具体工作如下:1.现有的基于CNN的场景识别大多都只考虑了场景中的全局的空间特征而忽略了局部的对象特征,目前大规模场景识别的的识别率仍然不高。本文引入了卷积对象特征的概念,提出一种基于双卷积神经网络的场景识别方法,设计了两个CNN网络,包括场景CNN与对象CNN。一方面使用场景CNN网络提取场景图像中的空间特征,另一方面使用对象CNN网络提取场景中的对象特征,最后通过特征融合的方式将得到的特征输入到支持向量机中进行场景识别。2.为了研究场景之间的判别特性,本文采用自动方式检索抓取网页中的场景图片,选取图书馆、沙漠和游泳池三类场景,经过预处理,与Scene-15数据集组成包含5285张场景图片的Scene-18数据集用于研究相似场景的判别方法。3.不同场景中共同对象引起的一般特征的存在,削弱了场景间的区分能力。为了解决不同场景中普通对象造成的负面影响,本文提出了一种基于LDA主题模型的对象特征描述符LOD,并提出了一种基于主题模型对象判别特征的场景识别方法。并且利用双卷积模型提取全局空间特征与对象特征,基于主题模型的思想,构建“对象—图片—场景”的概率分布,选取每类场景中有判别特性的对象,构成LOD特征。将全局空间特征与LOD特征相结合,使用支持向量机进行分类。在Scene-15数据集和Scene-18数据集上测试上述的场景识别方法,并将仿真实验得到的结果与目前主流的场景识别方法进行比较。实验结果表明,基于双卷积神经网络的场景识别方法在Scene-15数据集上的识别精度高于目前主流的场景识别方法,但是由于引入了卷积对象特征,而忽略了不同场景中共同对象对于场景识别的负面影响,导致该算法对于特定场景的识别性能并不理想。而基于主题模型对象判别特征的场景识别方法,在Scene-15数据集和Scene-18数据集上均能取得最好的识别效果,并且由于该方法采用了对象判别特征,解决了一般对象的负面影响,在所有类别的场景中都取得了最好的识别精度。实验结果表明本文的设计的场景识别系统提高了场景分类性能,并具有良好的泛化能力。