基于GAN的三维室内场景生成算法及应用研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:sakurabb1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着关于三维数据的研究与深度学习的紧密结合,三维内容(如物体与场景)的生成已成为三维深度学习的研究热点。三维场景生成研究包含基于图像的三维生成和基于语言描述的三维生成等,本文基于草图图像研究的三维场景生成。因为草图不具有深度信息会影响模型生成质量,镂空结构的框架场景生成草图就不具有可指示遮挡等深度信息;此外普通RGB图像与草图存在较大差异,所以大部分基于RGB图像的三维生成算法无法直接迁移到基于草图的三维场景生成研究中。针对以上问题,此本文主要围绕基于草图生成具有镂空结构的三维框架场景和基于草图生成表面光滑逼真的目标三维模型开展研究,主要研究工作如下:(1)目前的研究缺乏基于草图的三维数据集,因此本文首先从数据集结构、数据采集、数据预处理、数据集自动清洗等方面开始研究,系统化构建了一个包含模拟草图、原始三维框架场景、原始三维模型、三维占用网络表示与三维体素表示的室内场景数据集。该数据集作为本文研究的基础,将本文提出的模型应用于该数据集完成三维室内场景重建过程与可视化;同时该数据集在一定程度上对现有三维数据集进行了补充与扩展。(2)针对具有特殊镂空结构的三维框架场景草图缺少可指示遮挡信息,而一般基于图像的三维生成算法又无法直接迁移使用的问题,本文提出了一个三维框架场景生成模型S2F-GAN。该模型以模拟草图数据、模拟草图边缘特征以及三维体素数据为基础,使用生成对抗网络实现了基于模拟草图的三维框架场景生成;并在本文构建的室内场景数据集上进行了大量实验,将S2F-GAN模型应用于室内场景中房屋镂空框架的生成。实验结果表明,S2F-GAN模型生成样本与原始三维模型在体素级水平评估较好,生成样本的相似性评价比对比模型提升了0.0041~0.0174;在保证生成高质量三维框架样本的同时具有较低的模型参数量,在基于草图的三维框架场景生成研究方面具有一定的有效性。(3)针对草图缺乏深度信息导致无法生成表面光滑逼真的目标三维模型的问题,本文提出了一个结合生成对抗网络与占用网络的模型S2M-GAN。该模型以模拟草图数据与三维数据为基础,首先基于生成对抗网络生成低质量目标三维模型,进而通过占用网络化对其进行优化,实现基于单模拟草图生成表面光滑逼真的目标三维模型;并在本文构建的室内场景数据集上进行了大量实验,将S2M-GAN模型应用于室内场景中三维家具的模型生成。实验结果表明,第一阶段生成的低质量体素模型评估结果稍劣于其他模型,但第二阶段生成样本评估结果明显优于其他模型;不同数据集下,S2M-GAN模型生成样本与原始模型的相似性提升了0.26~0.51、特征点相似性提升了0.37~0.49;在保证生成完整高质量样本的同时具有较低的模型参数量,在基于草图的三维目标生成研究方面具有一定的有效性。综上所述,本文构建了一个基于草图的室内三维场景数据集,提出的S2F-GAN和S2M-GAN模型分别实现了基于草图生成镂空结构的三维框架场景和基于草图生成表面光滑逼真的三维目标;并将两个模型应用于自建数据集,生成了完整的三维室内场景,验证了两个模型的可行性。实验结果表明,两个模型均达到了较好的三维生成评估标准,并且生成样本精确度较好、保证了模型与原始三维模型的相似性。
其他文献
基于监控视频的目标识别技术已经逐渐普及并应用于生活的方方面面。随着监控设备性能的日益提升,监控视频的质量,如分辨率、帧率也不断提高。上述现状直接导致监控视频数据量急剧增长,促使基于视频分析的计算复杂度持续增加,给有限的硬件资源带来了巨大压力,最终导致计算延迟大幅度提高,难以完成实时性任务。以智能交通领域为例,其对监控视频分析处理的需求日益增加,例如异常车辆识别、行驶速度估计等,同时分析算法的实时性
学位
杂化金属卤化物是一类由有机阳离子和金属卤化物阴离子通过分子间相互作用组装而成的材料,由于其丰富的晶体结构和优异的光电性能,在近几年内一直是光学和电学研究领域的前沿材料。通常,可以通过选择不同的有机阳离子和卤化物阴离子来调节杂化物的结构和性质。其中,缺电子的紫精阳离子能够接受来自电子给体的单电子而形成紫精自由基,从而实现颜色的可逆变化,因此被广泛用于构建光/电/热致变色材料。基于以上考虑,本论文设计
学位
为关怀、激励基层干部职工,党和政府先后出台了多项政策法规,其中职务与职级并行是重要政策措施之一。2014年12月,中央深改组审议通过《关于县以下机关建立公务员职务与职级并行制度的意见》,公务员经济待遇的主要影响因素从职务转为职级,2019年6月《公务员职务与职级并行规定》正式实施,职务与职级并行全面推开,这些政策的实施,一定程度上提高了基层工资待遇,拓宽了干部晋升渠道,激励公务员更加担当作为。本文
学位
小檗碱是一种从中药黄连中分离出的一种生物碱,因在水中的溶解度较小,从而限制了其在制药行业中的应用。本文采用将小檗碱与可生物降解的有机酸相结合形成药物盐的方法,来改善小檗碱的理化性质,提高小檗碱的生物利用度。这些药物盐作为潜在的药物,为使其在制药行业中有良好的应用前景,了解它们的理化性质及其与生物小分子间的相互作用是十分有必要的。本文设计合成了五种以小檗碱为阳离子的药物盐,即小檗碱-正辛酸([BBR
学位
硼烷(borane)一般是指由硼和氢组成的硼氢化物(borohydrides)及其衍生物。自1912年Stock首次报道了硼烷以来,硼烷以其不同寻常的多中心成键方式和广泛的应用领域引起了硼化学家的极大兴趣。从二十世纪五十年代开始,硼化学家们对多面体硼烷的合成、性质以及应用逐渐有了系统的认识。尤其是近些年来掀起的对BNCT的研究热潮,迫切的需要硼化学家们开发新的合成多种功能化的多面体硼烷的方法。在多
学位
对外直接投资始终是国际商务领域关注的焦点,而具体投资区位是企业实行国际化战略、实现“走出去”时面临的首要问题。在中国,企业的对外直接投资并非仅仅流向制度质量比中国更好的国家和地区,而是存在向制度风险更高的地区“嵌入”的现象,但这其中的原因并没有得到很好的解释。根据“高阶梯队理论”,企业的经营决策结果会受到管理层背景特征、认知、价值观的影响。已有文献从东道国层面以及企业整体资源层面对企业对外投资区位
学位
耐火砖是一种可用于建造各种热工设备和熔炉的高温建筑材料。在其生产过程中,工艺水平和操作不当会造成缺角、缺棱、凹坑、凸起等表面缺陷,这类缺陷不仅影响了该材料的使用寿命与安全性,还会对耐火砖的生产质量和经济效益带来巨大影响。目前,耐火砖表面质量检测仍主要依靠传统的人工检测方式完成,存在产品抽检率低、检测准确率低、成本高、自动化程度低等问题,且受人工经验和主观因素影响较大,不能满足现代生产的需求。由于耐
学位
随着人工智能深度学习技术的研究与应用,基于深度学习的目标检测技术快速发展,在现代生活的各个领域得到了广泛应用。目标检测任务作为计算机视觉的基本问题之一,构成了许多其它计算机视觉任务的基础,具有重要的现实意义和广阔的应用前景。目前,基于深度学习的目标检测算法主要分为两种:两阶段目标检测算法和一阶段目标检测算法。然而,在现实场景中目标对象通常是复杂多样的,目标检测模型需要检测出不同尺度的目标,例如小、
学位
传感器作为工业设备监测的重要工具,主要用于信号采集和信息获取,为控制系统提供决策依据。传感器通常工作于恶劣环境中,容易出现精度下降、偏差、漂移等故障,影响数据的可靠性与准确性,造成控制系统崩溃等严重后果,因此传感器故障诊断对于保证系统的安全运行至关重要。传感器故障诊断任务由两部分组成:故障检测和故障诊断,故障检测确定传感器是否在正常测量范围内工作,故障诊断则识别传感器发生何种故障。本文基于深度学习
学位
齿轮、轴承、轴等是机械中传递力和运动的关键零部件,广泛应用于汽车、船舶、航空航天、军用装备等领域。这些零部件需要长期承受弯曲、接触及扭转等复杂的循环载荷作用,因而极易引起疲劳失效。构件表面总是存在因结构、加工等原因引起的沟槽、尖角等不连续平面,即缺口,热处理后缺口附近的组织场、应力场、硬度场都会发生变化,且缺口引起的应力集中会严重影响构件的疲劳性能,所以缺口往往是构件失效的根源。本文以18CrNi
学位