论文部分内容阅读
在显示设备的发展过程中,人们一直希望能够从显示设备中重现出客观世界中事物的真实感和立体感。近年来,广播电视技术得到了飞快的发展,三维电视系统的出现,满足了用户从不同的角度观看到不同的图像,身临其境的感受到客观立体世界的愿望,已经成为继高清电视之后,电视发展的又一个主要方向。虚拟视点生成技术是三维电视系统中的一项关键技术,它是利用两个相邻视点的摄像机拍摄的图像来生成相机中间的视点的虚拟视点的图像,生成的虚拟视点的图像可以让用户从更多的角度来感受到真实客观世界。如何实时高效传输是现在三维电视系统的一个热点,如果对左右眼分别对应的彩色图像进行传输,将会大大的增加系统成本和传输带宽。所以,虚拟视点绘制技术减少了传输的视频的数据量,对于降低传输带宽和系统成本非常重要。虚拟视点绘制技术主要有基于模型的绘制技术(Model-Based Rendering, MBR)和口基于图像的绘制技术(Image-Based Rendering, IBR)两种。比较两种绘制技术,MBR技术虽然在细节信息方面有较好的效果,但是建模过程复杂,实用性较差。基于图像的绘制技术(Image-Based Rendering, IBR)由于是一种利用参考视点的图像来生成虚拟视点的图像的技术,能够较多的减少传输带宽,同时也获得了较好的图像渲染质量。基于深度图像的虚拟视点生成技术(Depth Image-Based Rendering, DIBR)是一种常用的基于图像的绘制技术,这种技术在传输过程中减少了彩色图像的数量,增加了对深度图像的传输,由于彩色图像所含信息量远远大于深度图像,所以能够减少较多的传输带宽,它包括深度图的预处理、图像转换、图像融合和空洞填充四个步骤,深度图的处理是对相邻的摄像机拍摄的图像的深度图像进行图像平滑等处理,来减少合成的图像中的空洞和裂缝的数量,图像转换是利用两个摄像机的图像来通过三维坐标转换的方法得到摄像机中间的虚拟视点的图像,图像融合技术是将由两个摄像机得到的两幅虚拟视点图像融合成一幅图像,空洞填充是将图像融合后得到的图像中的空洞点进行填充,来生成图像质量较高的虚拟视点的图像。基于当前的虚拟视点生成研究的现状,本文提出了一种改进的虚拟视点生成技术。本文取得的改进方法主要有以下两个方面:(1)对两幅参考图像的深度图像进行处理过程中,对深度与周围像素相差较大的点进行平滑,这样能够有效的减少生成的虚拟视点中空洞的个数和大小,对深度与周围像素的点相差很大的像素点,我们在图像转换的过程中忽略这些点,在最后的空洞填充过程中再将这些点填补上,这样可以有效的减少生成的虚拟视点中存在的伪影。(2)在图像融合以后,生成的虚拟视点图像仍然会有一些小的空洞点,我们提出了一种填补空洞点的方法,由于这些空洞点大部分是背景信息被遮挡而无法显示,所以我们在填补空洞点的时候用背景点来填补空洞点。首先我们判断出空洞区域,用扫描的方法找到空洞区域的边缘点,对边缘点的周围像素的非空洞点的深度进行比较,找出背景点,用找出的背景点对空洞点进行填充,最终把空洞点全部填充。这种空洞填充方法可以有效的消除合成后的图像中的空洞点,同时保证了空洞填充后的图像质量。多次的实验结果和主观视觉效果表明,本文的算法取得了理想的效果,生成的虚拟视点图像具有较好的轮廓,同时大部分的纹理细节也被保留,主观视觉方面也证实合成的图像质量比先前的算法较优。