基于图像的自由视点合成方法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:FSACN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的自由视点合成,是指通过计算机视觉技术,利用预先拍摄的一组真实世界图片在未拍摄的新视点合成场景视图,从而实现交互式的三维游览效果,因此也被称为基于图像的绘制(Image-based Rendering,IBR)。相比于传统的几何建模方法,IBR方法不需要复杂的手工调整和模拟计算,便可以生成高质量的新视图。IBR方法根据是否依赖几何先验可以分为两类。依赖几何先验的方法一般需要先使用多视图立体重建(Multi-view Stereo,MVS)算法计算得到场景的几何信息,然后用其指导输入图片进行视图合成。不依赖几何先验的方法则可以直接使用输入图片生成新视图。依赖几何先验的IBR方法在几何信息丰富、准确时表现较好,但几何存在缺失或错误时则会产生伪影,降低视图质量。对于稠密捕获的室内场景图片,由于几何重建完善,目前已有一些方法取得了不错的结果。但室外场景往往包含大量的植被、天空等缺少特征的无纹理区域。即使是目前最先进的MVS方法仍无法在这些区域重建出完整和精确的场景几何。这也导致室外场景目前依然缺乏有效的自由视点合成方法。针对这一问题,本文提出了一种基于深度融合的自由视点合成方法,通过融合MVS深度图和深度学习估计的单目深度图改善室外场景几何,继而提升最终的视图合成质量。在GTAV大型室外数据集上,本文方法得到的融合深度相比于原始的MVS深度,RMSE(Root Mean Square Error)误差降低了 9%,相比于单纯依赖MVS深度传播方法输出的补全深度,RMSE误差降低了 7%。在使用相同MVS源深度时,本文方法相比现有IBR方法,有效地改善了视图合成质量。不依赖几何先验方法的主要研究方向是光场。传统的光场绘制方法需要密集且规整的图像捕获,难以实际应用。近年来,随着深度学习技术的发展,研究人员发现可以用神经网络拟合场景的光线采样,从而隐式地编码输入图片的光场来合成新视图。相比传统光场,神经网络光场(Neural Reflectance Field,NeRF)方法可以用于手持捕获且输入图片较少数量的情况,大大扩展了应用场景。NeRF在拟合光场时需要对每根光线进行采样,其最终的视图质量与有效采样的数量成正比。但是,采样数量的增加也就意味着计算量的增加和效率的下降。目前的NeRF方法仍存在训练时间长,绘制视图慢的问题。针对这一问题,本文提出了一种基于联合采样的NeRF,通过使粗糙网络和细腻网络共享均匀采样结果,减少不必要的光线采样,从而加速网络训练和视图合成。实验证明,在取得与原始NeRF方法近似视图质量的同时,本文方法节省了 20%的训练时间,提高了 25%的视图合成效率。
其他文献
不规则自然场景文本检测与识别在机器导航、图像搜索、场景理解、即时翻译和工业自动化等相关领域有着广泛的应用前景,同时也是计算机视觉领域的关键技术,近年来已成为热门的研究方向。典型文本识别系统的处理流程为:首先通过文本检测算法定位图像中的文本实例,然后通过文本识别算法对文本实例进行识别。其中文本检测算法的输入为高分辨率的场景图片,其检测的准确度和处理速度对后续识别性能的提升有重要影响,而文本识别算法需
毫米波频段所含有的丰富频谱资源,使得超高速率的无线通信成为可能。作为无线通信系统中不可或缺的一部分,天线及天线阵列的设计已经成为制约整个无线通信系统发展的重要因素。本文围绕不同场景下毫米波天线阵列的设计展开研究,具体研究内容如下:1、提出了一种通过使用阶梯型结构进行带宽展宽的宽带圆极化天线单元。并通过设计具有宽带馈电特性的1分64渐变型微带功分网络,完成了天线阵列的设计。与现有设计相比,所提出的阶
行业短信覆盖各大行业,内容包括产品推广、活动通知等多种形式,已成为企业进行商业活动的重要方式之一。短信服务商通过接口向企业客户提供短信收发服务,所有经由平台发送的短信会被存储记录下来,每月的数据量可以达到百万级别。对于短信服务提供商,历史累积短信会占用大量存储空间,但数据资产利用率低,公司缺乏快速、有效、深入的分析手段,无法掌握业务情况。此外,对于诈骗类、涉政类、反动类等具有一定风险的短信,公司缺
随着车辆数目的日益增加,车辆对高清地图、动态交通信息、安全信息业务等各种类型应用的需求也逐渐呈现出多样化差异化的特点。然而,考虑到基础通信设施负载过大,且车辆从远端基站处进行请求存在时延过长、传输链路不稳定等问题,需要充分协同基础设施与可利用车辆,协助满足各种需求。作为一种有效的车辆管理策略,车联网(InternetofVehicles)在很大程度上缓解了车辆通信需求及资源分配与基础设施不足之间的
人群轨迹预测是指在给定场景中一段历史时期行人运动轨迹和场景信息的情况下,预测未来一段时期这些行人的运动轨迹。人群轨迹预测在许多方面都有重要应用,比如自动驾驶,机器人导航和智能交通系统。自动驾驶车辆和机器人在行进过程中一个很重要的任务是分析道路上其他使用者的运动意图和倾向,尤其是分析处于弱势地位的行人的运动倾向,从而避免可能发生的碰撞事故。人群轨迹预测问题的难点主要包含三个部分。一是行人之间的运动交
随着互联网的飞速发展和全球经济一体化进程的快速推进,各行各业的从业人员都面临着与国外公司的沟通交流问题。如何与非母语国家的客户进行有效沟通,避免歧义,更好的达成合作,成为当今全球化背景下的企业更好更快发展所必需的面临的问题。此外,互联网时代的到来也为我们每一个普通人带来了宝贵的机遇,大量的优质信息资源充斥在我们身边,然而大部分资料都是以外文所呈现的,这就使我们获取信息有了很高的门槛。为了应对全球化
随着互联网的快速发展,全球商业竞争环境也在不断地变化。利用互联网技术进行客户评价的收集整理已经成为各个企业的必修课。此外,随着深度学习的不断推陈出新,利用神经网络自动化分析客户评价成为提升企业效率的重要途径。但粗粒度的将整个评价文本进行情感分类还远远不够,对评价文本具体内容的细粒度情感分类才能够真正的帮助相关人员大幅提升工作效率。这就需要用到文本情感分类中一项更为细分的子任务,即对象级情感分析。基
随着高速铁路的发展,人们对于高机动性场景中的通信服务质量提出了更高的要求,这需要获取精准的信道状态信息(Channel State Information,CSI)。大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术因其具备显著提升信道容量和频谱效率的优势,减弱多普勒效应影响的潜力被考虑为主要解决方案。然而显著的多普勒频移和庞大的天线阵列仍严重制约着C
学位
随着数字化时代的来临,数据安全的重要性日益凸显。在经典保密通信中,数据的安全性主要是由一些数学难题的计算复杂度保障的。但是随着量子算法和量子计算机的进步,这些经典加密方式不再难以破解。幸运的是,量子保密通信可以为数据提供基于量子力学物理规律的无条件安全性,一经问世便引起了国内外的广泛关注。经过几十年的快速发展,目前量子通信已经有了量子密钥分发,量子秘密共享等多个子领域。量子安全直接通信是量子通信的