增强现实中的阴影生成研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:PLMM1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对于一般的增强现实应用而言,其输出的合成图像的真实感决定了增强现实应用的质量,对用户体验有着至关重要的影响。合成图像的光照一致性对合成图像的真实感具有很重要的影响。光照一致性主要体现在虚拟物体的阴影、明暗效果是否与现实世界的光照条件相匹配。相较之下,光照一致性的问题受拍摄场景的影响更为复杂多变,难以解决。由于人眼对合成图像的真实感判断更大程度上取决于虚拟物体的阴影,因此生成合理的虚拟物体阴影对增强现实应用而言至关重要。现有的虚拟阴影生成方法遵从基于物理的渲染理论,需要估计现实世界的几何、光照、反射率与材质等属性,在获取了这些信息之后对虚拟物体进行渲染从而产生阴影。然而,估计这些属性的逆渲染问题在计算机视觉领域是一项十分具有挑战性的任务,往往依赖于庞大的运算量而难以实时地完成。除此之外,错误的估计结果会造成后续的渲染生成与现实世界光照条件不匹配的虚拟物体阴影。这使得基于逆渲染的方法需要消耗大量的人力物力成本,进而在实际的增强现实应用中受到严苛的限制。针对以上关键问题,本文从深度学习的图像生成角度,以通用、便捷为目标研究基于单目视觉的虚拟物体阴影直接生成方法。本文的主要研究贡献概述如下:(1)构建了首个大规模的增强现实阴影生成图像数据集,该数据集与现有的阴影相关图像数据集有很大不同,不仅包含虚拟物体阴影从无到有的对应关系,还对现实世界中的阴影与产生这些阴影的相应遮挡物做了标注。这些标注作为重要的线索,可以更好地引导虚拟物体阴影的生成。(2)提出了一种名为ARShadow GAN的端到端可训练的生成式对抗网络。ARShadow GAN在上述的增强现实阴影生成数据集上训练之后具备直接生成虚拟物体阴影的能力,适用于包含单个主要光源的现实世界场景。与一般的图像到图像转换框架不同,ARShadow GAN充分地利用了注意力机制,关注现实世界中的阴影与相应的遮挡物,并将其作为线索信息更好地引导虚拟物体阴影的生成,实现了直接对虚拟物体阴影与现实世界之间的映射关系进行建模,而不需要任何显式的光照估计等逆渲染步骤。(3)将理论与实践相结合,成功地将优化过的ARShadow GAN网络模型移植并部署于华为Atlas 200 DK AI开发者套件上,实现了在单个开发者板上以接近实时的速度执行虚拟物体阴影生成的推断步骤。本文的研究内容紧紧地围绕增强现实中的虚拟物体阴影生成这一主题,其中涉及阴影数据集构建、深度神经网络模型的结构设计、网络模型的训练与评估与网络模型移植与部署等问题。本文的方法能避免复杂且开销巨大的逆渲染方式,实现简单便捷的直接阴影生成。充分的实验证实了本文提出的方法能有效地应用于一般的增强现实应用中。
其他文献
本文对于含有一般容量项的非线性对流扩散方程,研究其全隐有限元离散格式的基本性质及其迭代加速求解方法,以实现问题的快速精确求解.从一维问题出发,根据对流是否占优,分两
目标跟踪问题是计算机视觉领域的研究热点,它融合了机器学习与模式识别等领域的理论和技术,在视频监控、智能交通以及现代军事等领域都有着广阔的应用前景。视觉跟踪场景往往会包含多种跟踪难点,例如视频背景杂乱、目标外观变化、尺度变化、光照变化和部分遮挡等,会严重干扰目标检测和识别的性能,使跟踪问题变得更加复杂。因此,在复杂多变的动态跟踪场景中跟踪目标是一个极具挑战性的问题。本文基于稀疏表示理论,主要研究了基
宽波束天线具有较宽的主波束辐射特性,但大多数宽波束天线通常结构较为复杂,剖面很高,并且很少具有良好通用性的分析设计方法。因此,研制一种结构简单,剖面低的宽波束天线具有重要的现实意义。本文基于自平衡理论,提出了一种平面自平衡宽波束天线,并阐述分析该理论方法及工作原理。本文的主要研究内容包括:1.本文首先从自平衡原理出发,先证明了扇形磁偶极子天线在引入四分之一波长的长方形寄生单元情况下,不需要利用扼流
火灾是各种灾害中发生最频繁的灾害之一,且会造成巨大的损失。随着社会的发展,科技水平也在逐步提高,人们对扩大建筑空间以及提高结构承载能力产生了更高的需求。由于建筑结构趋于复杂化、高层化,对结构及构件的承载能力要求越来越高,钢管混凝土柱在这方面有较大优势,其应用也越来越广泛,因此研究其抗火性能也越来越重要。钢管混凝土结构是介于钢结构和钢筋混凝土结构之间的一种新型结构。在受力过程中,钢管和混凝土之间相互
随着知识经济的不断发展,技术创新成为社会发展的核心驱动力,自十八大以来,我国提出了科技强国的战略要求,为了进一步发展科技生产力,提高创新产出,全球范围内出现协同创新这一新的发展范式。协同创新能有效地促进地区内政府、企业、大学等多主体间的创新合作,通过将区域内创新资源进行有效整合,加快区域创新绩效产出,为地区经济高速增长与科技创新能力提升注入新的发展动力。在现有的协同创新模式下,各主体间的创新能力与
空化是自然界中普遍存在的复杂现象,空化的危害性及应用价值性对水力机械、船舶工程等诸多领域都存在显著的影响。为了尽可能降低空化所造成的损害,充分利用空化的益应用,有
安卓恶意软件技术不断演进变化,其恶意行为正变得越来越隐蔽,因此针对安卓恶意软件有效检测方法的研究就显得极为重要。在现有检测方法中,基于静态特征的静态分析方法准确率高,但易受到混淆和字符串加密等技术的干扰,无法检测未知恶意软件。基于运行特征的动态分析方法检测效果出色,但对潜伏性强的恶意软件则效果不佳且适应性较差。本文深入分析现有安卓恶意软件检测方法的不足及其原因,借鉴先天免疫机制中自然杀伤细胞(Na
随着电子信息技术的迅猛发展,电子元器件逐渐向着高频化、小型化、高度集成化的趋势发展,从而导致其有效散热面积减小,热流密度不断增加。传统的散热方式传热效率较低,可靠性较差,不适用于高热密度电子器件的散热。而平板蒸发器环路热管具有传热效率高、传输距离远、反重力性能好和使用寿命长等优点,广泛应用于高热流密度电子器件的散热领域。首先,本文设计了一种新型的平板蒸发器环路热管,与传统的环路热管相比,该环路热管
集装箱码头作为货物水陆联运的枢纽站,在全球物流链中占有重要地位。然而码头在日常运营中,常常受到外界不确定因素的干扰,而不同的码头应对干扰保持稳定的能力明显不同。系统弹性是复杂系统面对不确定干扰所体现的一种主要系统特性,最近十几年成为众多学者研究的热点。在耗散结构理论思想的导引下,系统阐述了集装箱码头耗散结构特征。基于广义的复杂系统弹性定义,本文建立了集装箱码头装卸系统弹性理论及指标体系,构建了集装
氮化硅结合碳化硅砖是以氮化硅为结合剂,具有密度大、强度高、耐高温和高温强度大、热震稳定性好、荷重软化点高、热导率高、电阻值高、抗热震性能优越、抗高温蠕变好等特点,