论文部分内容阅读
室内场景布局估计作为图像处理和计算机视觉的研究热点之一,广泛应用于3D重建、场景恢复等新兴领域。室内场景通常存在家具等杂物,虽然为场景语义分类提供较丰富上下文线索,但也会遮挡房间结构布局边界,致使仅基于RGB图像的室内场景布局估计任务具有挑战。于是,本文设计了一种由粗至精的室内场景图像布局估计方法,主要包括改进型消失点估计方法生成布局候选项、全局特征诱导布局候选项粗选取和基于区域级特征的布局估计。针对传统方法难以估计统一顺序的消失点问题,本文提出改进型室内场景房间消失点序列化估计方法。首先,基于局部不连续自适应阈值的直线段检测方法得到室内场景图像中若干长直线段,根据线段方向性划分为竖直和水平方向线段。然后,采用投票评分机制,针对竖直方向直线段组计算相应直线段对可能竖直消失点的贡献得分,估计得到竖直方向消失点;再根据正交性原理和投票评分机制针对水平方向直线段组估计得到水平和投影方向消失点;据此,有序地估计得到相应消失点坐标值。相比于传统消失点估计方法,本文改进型消失点估计方法不仅可以提高计算效率和估计精确度,而且能有效实现有序的消失点估计。针对传统方法仅涉及布局区域级特征提取和学习,本文提出基于全局特征的布局候选项粗选取策略。首先,整幅原始图像输入以VGG-16为原型且模型参数已训练的全卷积神经网络,估计输出相应室内场景的布局边界信息;且经Softmax分类器处理上述网络fc7层特征估计出布局类别。然后,融合场景布局边界和相应类别信息生成全局特征,以约束整个室内空间布局的潜在边界,粗选取场景布局候选项,以缩小后续布局候选项的搜索空间,有利于高效选取潜在空间布局候选项。Hedau和LSUN数据集实验表明,相比于传统布局估计方法,本文全局特征诱导粗选取策略能实现对室内场景空间布局结构和房间边界位置的整体约束。针对传统布局方法仅限颜色和纹理等外观特征,本文提出融入几何深度法向量区域级特征的布局候选项最优化选取估计方法。首先,采用消失射线夹角参数化三维盒式空间布局以构建布局估计模型,将布局估计任务转化为结构化预测问题;接着,利用改进型空间多尺度VGG卷积神经网络迁移估计场景表面法向量和几何深度,几何积分累加提取并融合各个布局多边形区域的空间几何和平面外观特征为区域级特征;最后,采用Cutting-plane结构化优化算法求解模型参数。利用即得模型参数,依据最大化得分的结构化预测估计室内场景布局结构。Hedau和LSUN数据集实验表明,相比于传统布局估计方法,本文布局估计方法能提升空间布局估计的准确性,有利于提高布局模型对被室内物体遮挡场景布局边界的鉴别能力。