基于GPU和RGBD数据的虚拟视点绘制方法研究

来源 :山东财经大学 | 被引量 : 0次 | 上传用户:judy5752
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术的持续发展和人们对视觉体验追求的不断提高,传统的2D显示已无法满足大众需求。自由视点视频可以让用户通过交互的方式从任意的视角选择、操作具有立体感的多媒体视频,体验身临其境的观赏效果。近年来,计算机技术、网络通信技术、数据采集技术及立体显示技术的快速发展,进一步推动了自由视点视频的研究和应用,使其成为多媒体领域的极具发展前途的方向。虚拟视点绘制技术利用现有的参考视点图像绘制出新视点下的图像,作为自由视点视频的核心与关键,其绘制质量和效率之间的矛盾性,已成为目前制约自由视点视频应用普及的瓶颈。根据绘制过程中是否建立三维几何模型,虚拟视点绘制技术可以分为基于模型和基于图像的绘制两大类。基于模型的绘制方法需要建立场景的三维几何模型,因此,其绘制复杂度会随着场景复杂度的提高而增加;同时,这种高度密集型计算对显示设备的性能也提出了更高的要求。基于图像的绘制方法在绘制过程中不需要建立场景的三维几何模型,因此,虚拟视点图像的绘制速度与场景复杂度无关,通过插值或者采样点重新映射,直接绘制得到虚拟视点图像。基于深度图像的虚拟视点绘制(Depth Image Based Rendering,DIBR)作为基于图像绘制方法的一种,是当前虚拟视点绘制技术中的研究热点。其绘制过程仅需纹理图像及其对应的深度信息和参考视点摄相机的内外参数,即可在终端进行快速坐标映射还原出任意虚拟视点的图像,从而有效减少了需要传输的视点数量,降低了网络传输压力。但是,由于受深度数据的影响,DIBR技术在绘制过程中会遇到空洞、伪影、重叠、裂缝和绘制效率等问题。其中,空洞问题导致虚拟视点图像出现大范围的信息缺失;伪影问题导致在图像背景区域出现前景轮廓的现象;重叠问题导致在图像中某些区域出现背景可见而前景不可见的情形;裂缝问题导致图像出现局部信息缺失的现象;绘制效率低下导致图像不能实时绘制等。本文对以上基本问题进行研究,提出有效解决裂缝、伪影和绘制效率的方法,并通过实验与现有方法进行了对比,实现了虚拟视点绘制原型系统。针对裂缝问题,本文提出自适应中值滤波算法,当坐标处于裂缝区域时,算法会自动选取窗口的中值作为当前的像素值,从而既可以保持非裂缝区域原有的图像细节,避免传统的中值滤波所带来的轮廓平滑,又能够有效提升裂缝区域滤波效果,改善图像的主观质量。针对伪影问题,由于深度图像的量化误差、映射过程重采样误差和摄像机参数不准确等原因,导致前景中包含背景像素的现象,本文提出基于深度图像的帧内分层映射算法,将前景和背景分别映射,并用前景图像覆盖背景图像,解决了前景背景相互混杂的问题。文中实验使用了微软亚洲研究院交互可视化多媒体组提供的“Breakdancers”和“Ballet”视频图像序列,将本文提出的虚拟视点绘制方法与传统的单视点绘制、逆向映射方法绘制、传统的双视点绘制以及经典的RSVS软件和Kwan-Jung Oh方法绘制的虚拟视点图像进行对比。实验结果表明,本文提出的方法不论在主观质量评价还是客观质量评价方面,均取得了较好的结果。为提高绘制效率,本文引入基于GPU的并行绘制算法,对3D映射和虚拟视点图像融合部分进行并行处理,通过CUDA C编程,把绘制过程中的高密集计算部分放在GUP上并行处理,系统绘制速度相比在CPU上处理有较大程度的提升。本文从提高虚拟视点绘制质量和绘制效率的目标出发,使用C++和CUDA C编程语言实现了实用性更强的虚拟视点绘制原型系统。文中针对严重影响虚拟视点图像质量的重叠、空洞、伪影、裂缝等问题所提出的改进方法和基于GPU加速的并行处理技术,对于推动自由视点视频的进一步发展将起到应有的作用。
其他文献
自互联网中的信息海量化以来,信息超负荷已经是所有网民即将或已经遇到的问题,而相关性是解决信息超负荷问题众多方法中的一种主流方法。个性化推荐在电子商务网站也逐渐凸显
矿产资源是国民经济重要的原材料之一,处于工业化快速发展时期的我国对矿产资源的依赖更为突出。采矿方法是研究回采单元内矿石的开采方法,空场采矿法作为一个重要的采矿方法
集群系统是近几年来世界上进行大规模并行计算的首选系统,与以前的紧密耦合超级计算机相比,集群系统采用的是松散耦合的体系结构。一个集群组通常由许多个独立的计算节点组成
水火弯板工艺是船舶制造中船体外板加工成形的关键工艺之一。由于目前加工装备难以灵活地加工生产双曲率或形状特殊的外板,所以这一类外板长期由传统的手工弯板作业满足生产
象视频和音频流、在线游戏、视频会议,口语音(VoIP)和文件传输协议这些应用(FTP)需要范围广泛的服务质量要求,例如带宽和延时。现有的无线技术能够满足不同种类流量的要求,但
随着下一代网络的发展,电信网络与因特网逐渐融合。基于下一代网络的开放体系结构特点及开放网络能力的特点,第三方可以基于开放增值业务接口快速的开发增值业务,从而增强了
随着Internet的飞速发展,Internet的影响已经渗透到我国国民经济和个人生活的各个方面。Internet用户数量与日俱增,许多新的网络服务和应用如电子商务、电子支付等被越来越多的
学位