随着3D技术的不断发展,3D显示逐渐克服了一开始的模糊、亮度不高等问题,被应用到生活的各个方面中。近年来推出的虚拟现实技术,更是将用户体验提高到了新的层次。本文就此设计了一套结合虚拟现实设备,从内容生成端到用户端的实时3D视频系统。在本系统中包含了视频应用初步处理常用的前景提取过程,目前基于彩色图的前景提取算法容易受到光照变化影响,而且在前景与背景颜色相近时难以区分,本文使用了结合深度信息的方式对前景提取过程作出改进。本系统可分为3个模块,分别为立体匹配模块、前景提取模块和传输模块。首先,为了获取前景提取模块所需的深度信息,需要从左右双目图像对中,通过立体匹配实时计算出视差值。为满足系统实时性需求,本文采用的是GPU下的半全局立体匹配算法,并对产生的视差图结果,结合Mean-Shift算法进行空洞修复过程。然后,在前景提取模块中,本文提出了结合深度信息的码本法。利用深度信息对光照不敏感的特点,在原码本法的基础上做出了两点改进。一是对于前景与背景颜色相近问题,在码字匹配时加入了视差值范围限制,减小前景物体被误分为背景的概率。二是对于高亮区域和光照影响,在视差值约束条件下,放宽了码字匹配的彩色距离阈值条件,减小了背景被误分为前景物体的概率。实验结果表明该算法在综合考虑查全率和查准率的F值指标下,结果平均提升10.6%。最后,将前面处理出的图像进行H264编码压缩,通过TCP协议下的socket传输至Android手机端进行解码显示。然后将手机配合暴风魔镜,观看到实时3D前景视频。