论文部分内容阅读
场景理解是计算机视觉方向的重要研究课题之一,在很多领域得到了广泛的应用,主要包括移动机器人、图像信息检索、智能监控、智能家居等,有十分重要的研究意义以及应用价值。而相较于室外场景,室内场景因其复杂的结构和种类繁多的内部物品等问题,使得研究工作相对进展较慢,且更具挑战性。本文针对室内场景,从场景类别、目标检测以及空间布局估计三个方面对图像场景进行深入理解,提出了对三项工作进行有机结合的方法,利用彼此间的相互作用,而不是单纯地分别进行三个独立工作,并且进行了大量的实验,与众多方法进行了对比分析,结果证明了本文方法的有效性。本文的主要研究工作如下:(1)基于卷积神经网络,提出了结合语义上下文信息的场景分类方法。对于场景级别的任务,场景复杂多样,需要大量的训练数据。而利用图像的语义上下文信息,即特定场景与目标总是同时出现的,将其转化为目标级别的任务,可以降低对海量训练数据的依赖。将卷积神经网络提取的特征取代传统的人工特征,与语义特征相融合,实现场景的分类。实验结果表明,该分类方法在较小的训练集上仍有很好的表现。(2)在传统的基于几何上下文的布局估计方法上,结合了信息边缘。将由全卷积神经网络得到的信息边缘作为先验条件,对于场景布局精细化划分,基于信息边缘,减少了对通过采样频率来提高采样精度的依赖,避免了“杂乱”边缘的影响,在几何上下文避免遮挡问题的基础上,提高了布局估计的准确率;同时减少了对候选项进行得分排序的工作量。(3)除了利用上述2D空间中的信息,还通过建立3D空间结构模型,更全面地利用图像场景中存在的几何及语义关系,减少了遮挡及视角变化等问题的影响,有效提高了目标检测、布局评估计等的场景理解效果。本文将语义上下文、几何上下文和3D空间几何结构模型融入场景理解。实验结果表明,本文提出的方法在场景分类、目标检测、布局估计三个方面的性能都得到了有效的提高。