街景重现技术是虚拟现实领域(Virtual Reality,简称VR)重要研究内容之一。街道一直是城市的重要组成部分,随着城市的不断扩张以及虚拟现实技术的飞速发展,现代社会各个领域对街景重现的需求越来越迫切。街景重现技术广泛应用于虚拟战场环境、汽车导航、城市规划、虚拟旅游、娱乐游戏以及古迹保护等领域。街景重现技术有二维和三维两种形式,拥有各自的优势和劣势,在不同应用领域仍将同时存在。通过平行拼图技术获得的多视点全景图像是一种重要的二维街景重现形式,然而现有相关算法都无法较好解决场景深度变化区域的拼接问题,另外均无法满足实时处理的要求。三维街景重现技术具有更强的逼真度和沉浸感,在实现上也更加多样,研究一种轻量化的、紧凑的三维建模方法,使生成结果数据量小、数据结构简单并能提供较好的渲染效果、对渲染终端要求低,一直是该领域研究的重点。街景实景图像作为街景重现的主要源数据,往往存在着各种遮挡,通过计算机视觉的方法移除其中的遮挡也是街景重现技术急需解决的问题。通过分析现有方法存在的问题,结合城市场景的实际特点,面向二维和三维街景重现以及街景实景图像修补,本文分别提出了二维平行拼图技术、立体平行拼图技术和街景图像时空修补技术。主要工作包括:1.二维平行拼图技术研究本文提出二维平行拼图技术用于街景的二维重现。二维平行拼图生成的多视点全景图像为一幅长廊形二维图像,较完整地涵盖了街道两侧主要景物信息,支持用户对街景的连续浏览,并具有较低的数据量、简单的数据结构以及方便的浏览方式。本文对现有多视点全景图像拼接技术进行深入研究和分析,以实时处理和克服场景深度变化带来的拼接困难为目标,分别提出两种平行拼图方法。首先提出一种基于自适应Pushbroom模型的平行拼图算法,在Pushbroom模型的渐进拼接特性基础上,通过优化达到了实时拼接的目的,并且通过增加像素线抽取的自适应能力改善了多视点全景图像的视觉效果。另外,本文深入分析不同拼接模型在场景深度变化区域拼接的视觉特点,提出一种全局优化的平行拼图算法。该算法针对不同场景自动判断Pushbroom模型或者多透视模型的选择,最后使景物深度变化区域达到了最优的拼接效果。2.立体平行拼图技术研究在网络和计算平台允许的情况下,用户渴望获得更逼真和更具沉浸感的解决重现效果,因此三维街景重现技术已成为当今研究热点。在对现有技术进行深入分析后,本文把一种紧凑的、轻量化的且具有较好渲染效果的三维街景重现技术作为研究目标,进而提出了立体平行拼图技术——带有结构信息的平行拼图。首先提出一种基于稠密深度信息的立体平行拼图技术,得到的是一幅多视点全景图像和一幅与之对应的稠密深度图像,根据两类数据就可以渲染出新视角的视图,从而完成重构。其次提出一种基于分段连续立面模型的立体平行拼图技术,利用分段连续立面这一密闭连续立面模型来简化拟合街景的实际几何建构,并以分段连续立面为投影面得到无缝平滑的多视点全景图像拼接结果,以便作为纹理使用。立体平行拼图是二维平行拼图在深度维上的一种扩展,直接借鉴了二维平行拼图的理论基础和开发技术,具有先天的紧凑性、轻量化以及高质量的视觉效果。3.街景图像时空修补算法研究立体平行拼图的主要重现对象是街道场景中建筑物等主体的、永久性的景观,而树木、车辆、行人等位置和形态易发生变化的临时性景物不作为重现重点,这样更有利于真实街道场景的描述和重现。并且,上述临时性景物的存在给立体平行拼图算法带来了建模困难并且影响了渲染效果,其中的行人还可能涉嫌个人隐私的泄露。本课题采用数字图像修补技术解决该问题。针对基于稠密深度信息的立体平行拼图技术,提出一种视差信息辅助的图像时空修补算法,基于视差图像实现了目标区域与参考区域的自动标识,并建立起两者之间像素级的位置对应关系,因此该算法不依赖场景的简化假设。针对基于分段连续立面模型的立体平行拼图技术,提出一种基于全局优化的图像时空修补算法。算法利用运动获得结构(Structure from Motion)算法得到目标区域与参考区域之间的位置对应关系,通过合理构建马尔科夫随机场、定义标号集以及设置能耗函数,增强了图像修补的鲁棒性并将时域和空域修补有机统一为同一个过程。两种算法能够有效提高立体平行拼图的渲染效果,并且相对于现有普通图像修补算法,具有更强的普适性和鲁棒性。