基于单幅图像的通用型房间布局估计研究

来源 :南昌航空大学 | 被引量 : 0次 | 上传用户:linco87
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
室内场景布局估计是场景理解的基础任务之一,其目的是估计室内空间的整体空间结构,在虚拟现实、增强现实、机器人导航等应用领域中具有非常重要的作用。传统室内布局估计方法大多将室内空间看作一个“三维盒子”,基于场景的低级特征,推断灭点位置以及二维布局估计结果,进而重建出室内布局的三维模型(尺度无关)。传统方法易受到环境噪音与遮挡的影响,鲁棒性与精度较差,并且需要产生并评估大量侯选布局,速度也较慢。基于深度学习的布局估计方法通过神经网络提取图片的高级语义特征,直接预测室内布局结构。虽然深度学习方法在速度、精度、鲁棒性上都有较大提升,但与传统方法相同,都只适用于盒型房间,应用场景有限。近年来,许多研究人员考虑结合场景中的深度信息解决室内布局估计问题,这些方法针对通用型(盒型/非盒型)房间,利用神经网络预测每个布局平面的范围及其平面参数,实现对室内布局的三维重建(尺度确定)。三维方法适用于通用型房间,但是运算速度往往较慢,实用性有限。针对上述问题,本文进行了如下工作:(1)基于大型合成室内场景数据集Interior Net,本文标注了大型三维室内场景布局估计数据集Interior Net-Layout。数据集中包含8219张图片,训练集、验证集和测试集的比例约为8:1:1,分别含有6534,833,852张图片。数据集中包含的数据类型有:RGB图片、原始深度图、布局平面深度图、布局平面语义分割图、相机内参、实例级平面参数、布局关键点的坐标、关键点连通矩阵、原始表面法线图。相对于布局估计领域现有数据集,本文标注的数据集的数据量最大,数据类型最多,样本的布局结构更丰富,适用于更广泛的布局参数化形式,易于训练出更稳定的神经网络模型。(2)布局估计领域中的传统方法与深度学习方法往往基于盒型房间假设而设计,无法应用于更复杂的非盒型房间。针对该问题,本文基于单幅RGB室内场景图片,提出了一种竖直墙面结构参数化方法,用以解决单天花板、单地面通用型样本的布局估计问题。具体来说,本文将墙面的布局关键点看作图的顶点,将布局边缘看作图的边,通过无向图表示竖直墙面结构,并通过神经网络学习布局参数。最后,基于预测的无向图,推断出室内空间的整体布局结构。本文在布局估计领域中的基准数据集LSUN以及本文标注的大型布局估计数据集Interior Net-Layout上进行实验,验证了本文方法的效果。(3)最近的工作利用卷积神经网络,结合场景中的二维与三维线索解决布局估计问题,但是这些方法缺乏语义信息并将布局平面看作独立的对象,忽视了墙面之间的顺序关系。本文针对通用型房间,通过提出的有序分类损失函数将墙面顺序关系嵌入语义分割方法中,并设计了一个双分支网络进行三维布局估计研究。该网络同时输出像素级的语义分割图及平面参数图,而后通过实例级池化层求得每个布局平面的实例级平面参数。通过对深度图相交算法进行分析与改进,使之适用于通用型布局结构。最后通过改进的深度图相交算法,利用三维信息对二维布局语义分割图的布局边缘进行平直性优化。本文在合成的与真实的数据集上进行实验,表明了本方法在保持高精度的同时,取得了更快的计算速度。
其他文献
随着工业机器臂在各个领域的广泛应用,现代化生产对于机械臂在复杂环境中工作效率要求越来越高,传统工业机械臂运行依靠程序员的示教编程不能满足机械臂在复杂环境中快速有效的工作。本文以工业机械臂UR5为研究对象,将传统快速随机树(RRT)算法进行改进,旨在提出一种速度快、效率高、适应性强的避障路径规划方案。论文的主要工作内容如下:(1)以工业机械臂UR5作为研究对象,采用标准D_H参数表示法建立其连杆坐标
学位
随着目前科技的发展,多智能体系统协同控制已成为当今控制领域中的重点研究方向,其中,多智能体系统的协同编队跟踪控制技术更是成为这一研究领域中的重要内容。但是,相对低阶系统而言,高阶多智能体系统因其更符合实际工程应用而成为多智能体系统研究中的一大热点。因此,本文以高阶多智能体系统为主要研究对象,采用代数图论、高阶多智能体系统控制理论等控制方法对高阶多智能体系统的协同编队跟踪控制问题进行深入探讨。主要内
学位
本文以四轮全向移动机器人为研究对象,针对现有控制器误差收敛速度慢、质心与重心不重合、未知干扰较多、模型参数不确定或参数摄动等问题进行系统的研究,同时简单探讨了多移动机器人的编队控制。本文的主要研究内容如下:1.四轮全向移动机器人数学模型的建立。基于四轮全向移动机器人运动学和动力学模型示意图,分析得到其约束方程,并归纳得到其数学模型的标准形式。然后,基于直流电机模型推导得到包含驱动电机信息的四轮全向
学位
自20世纪70年代末实行“改革开放政策”以来,经济迅猛发展,伴随而来的是日益严重的环境污染,大量有机污染物随着污水排放进入自然水体并威胁人类健康。针对目前严重的水污染现状,开发新型水处理技术去除有机污染物刻不容缓。分子氧活化技术作为一种新型绿色的水处理技术,可以充分利用自然界丰富经济的氧气。在催化剂作用下,分子氧活化为活性氧物种(·OH,·O2-)来降解水体中的有机污染物。因此,寻找高效的催化剂成
学位
电催化作为一种能够实现对含卤有机污染物的脱毒与降解协同处理的环境友好型技术,其核心在于电极的构建。目前常用的电催化阴极材料主要以碳材料和贵金属为基质构建,电催化阳极多以过渡金属为基质。常见电极材料多以粉末形式制备,在构建催化电极时,粉末材料需进行压片或成膜处理,过程繁琐。因此,开发高效低廉且具有优异稳定性的全固态电催化剂对于水环境中含卤有机污染物的去除具有重要的应用价值。Co3O4因多种变价共存,
学位
由于无人机具有部署简单、易于操作、灵活性强等特点,使其被大量应用于各个行业领域中。但随着任务难度的增加与反无人机技术的出现,单无人机很难独自完成任务,为避免任务失败人们提出了使用多无人机共同执行任务。协同航迹规划对多机共同完成任务起着至关重要的作用,而航迹规划算法更是协同航迹规划技术的核心所在,所以本文研究了基于灰狼优化算法(GWO)的单机航迹规划和多机协同航迹规划。本文主要研究的工作如下:(1)
学位
无人机凭借高机动性和高智能化等优势在作战侦察和遥感测量等领域得到广泛应用。航迹规划作为无人机自主化的关键技术之一,受到广泛关注和研究。由于单无人机受限于自身性能且逐渐无法满足日益复杂的战场环境,因此如何协同多架无人机完成规划的任务,成为当前无人机领域研究的核心问题。本文以多无人机协同航迹规划为背景,围绕规划算法、环境建模以及多无人机协同策略展开研究。主要研究内容为:1.研究了传统粒子群算法的改进方
学位
目前,世界各大军事强国均因无人机具有机动性高和适应性强等多种优势而投入大量的人力和财力竞相发展本国的无人机技术。但是,面对日趋复杂的作战环境和不断提高的作战任务需求,单架无人机因自身效能有限而无法满足复杂任务需求。围绕此类问题,国内外对多无人机系统协同控制开展深入研究,使无人机通过相互协作的方式提升整体作战效能。因此,多无人机协同控制成为无人机控制领域的前沿课题。本文重点对协同控制方向中的多无人机
学位
当下水体环境日益恶化,有效地降解水中持久性污染物是优化水质的前提。光电催化(PEC)结合了电催化和光催化的优势,是一种解决当前环境污染问题的新型手段。具有不同电极表面状态的半导体,电化学反应速率也有所区别。半导体三氧化钨由于其带隙可调、化学性质稳定、成本低等优点而备受关注。但是三氧化钨也具有其局限性,即光生电子-空穴对在三氧化钨材料内部复合率较高,这限制了其在光催化中的应用。因此本文利用阳极氧化制
学位
TC4(Ti-6Al-4V)钛合金由于其优越的综合性能,在航空航天、生物医学等领域得到广泛的应用,对其综合性能的深入研究,进一步提高应用范围,仍有重要的研究意义。通过不同热力参数对TC4钛合金的微观组织所产生的变化及其工艺过程中热力参数的相互作用关系,对TC4钛合金热变形行为及工艺参数优化进行了较为系统的研究。通过等温压缩变形,研究TC4钛合金在850℃~1100℃、0.001~0.1s-1热变形
学位