立体视频能够模拟自然景物在人眼中的呈现过程,满足了人们在观看视频时的临场逼真感需求,近年来在各行各业里得到了广泛的应用。立体视频包含多种表现形式,其中自由视点视频(Free-view video, FVV)增加了立体观赏角度并提升了交互性,已成为目前的研究热点。MEPG在2007年将多视点加深度视频(MVD)作为自由视点视频的数据格式。其大幅减少了所需编码传输的视点数目,在解码端借助基于深度的虚拟视点绘制技术推导出任意视点的虚拟视频。相比2D视频,多视点加深度视频包含的视点数目显著增多,且深度信息的引入为MVD的编码及图像处理带来了新的挑战和机遇。第一,描述场景三维结构的深度信息的高质量获取是前提。近年来利用Kinect来主动实时获取深度信息成为了趋势,但由于场景遮挡、特殊表面等因素的影响,其获取的深度图存在深度值丢失的区域,影响了深度图的质量及合成虚拟视点的效果。因此,研究设计高效的深度图的空洞填充方法,提高获取的深度图的质量对于提升立体视频对真实世界的表现能力至关重要；第二,多视点加深度视频视点数目的增多带来了数据量的急剧上升,亟需高效压缩。一方面,由于深度图像并不是用来显示且统计特性与传统的2D图像不同,传统的视频编码方法压缩深度图像会造成边缘信息的损失,降低了合成视点的质量；另一方面,传统的多视点视频编码的视点间预测方式延用了时域上的线性运动模型,对于视点间存在非线性运动的情况缺乏表达能力,并不能高效去除视点间视频内容的冗余,制约了预测效率的提升。因此,根据多视点加深度视频的特性,研究设计多视点加深度视频的高效编码方法,在提高编码效率的同时提升合成虚拟视点的质量至关重要；第三,在多视点视频监控应用中,低光照环境下拍摄的图像噪声多且对比度低,亟需进行增强。传统的低光照图像增强方法主要是利用2D图像本身的信息进行增强,可利用的信息有限且增强后的图像丢失了深度感知,相关研究指出深度感知在人眼对图像的感知体验中起到重要作用。深度图像和彩色图像是从不同的角度对同一场景的描述,深度图像可从空间信息的角度对监控场景进行了描述,且其成像过程不易受环境和摄像机器件噪声的影响,为低光照图像增强提供了鲁棒的参考信息。因此,研究利用深度图的特性来增强低光照图像的质量,提升增强后图像的深度层次感至关重要。针对以上三个方面的需求与挑战,本文对基于深度信息的多视点视频编码及图像增强技术开展了研究,在深度图像的空洞填充模型、MVD中深度视点及纹理视点的编码方法以及基于深度信息的低光照图像增强模型等方面取得了以‘下创新性成果：(1)基于相似约束稀疏表示的深度图空洞填充技术针对现有深度图空洞填充方法易受到不相关非空洞点影响,导致边缘填充不准确的问题,本文利用稀疏编码的策略,基于彩色图信息,提出了基于相似约束稀疏表示的空洞填充模型。通过构建相似约束的稀疏表示目标函数来满足在周围像素对当前像素所表示误差最小的情况下,选择较少的与当前像素相似的周围像素来进行表示,以计算得最优的权重向量。相对于对比方法,本方法填充后的深度图的边缘轮廓更加接近于彩色图像的边缘轮廓,且边缘更加平滑清晰；并且在公开数据集上的图像中人工添加空洞后进行测试,本方法填充空洞后的深度图的整体质量提升了1.8dB。(2)基于结构张量环路中值滤波的深度视频编码技术针对现有基于滤波的深度视频编码方法滤波系数精度易受到纹理编码噪声、深度突变点以及纹理细节映射的影响,制约编码效率及合成视点质量提升的问题,本文利用结构张量分析工具,提出了基于结构张量的环路中值滤波模型,该方法联合纹理图像构建当前深度像素的结构张量,通过对结构张量的分析划分出与当前深度像素处于同一深度平面的区域,称为可信深度邻域,该区域包含了可信候选深度像素。然后将可信候选深度像素的深度值的中值作为最终的输出。相比于对比方法,本文提出的算法可以将深度视频的编码码率进一步降低约10%以上,且合成的虚拟视点的主客观质量更高。(3)基于自适应学习的视点合成预测多视点视频编码技术针对现有多视点视频编码视点合成预测方法的预测效率易受到深度失真及视点间光照色度差异影响的问题,本文提出了基于自适应学习的多视点视频编码视点合成预测技术。在合成当前帧的虚拟视点帧时,前一帧及其虚拟视点帧已经得到,本方法通过学习前一帧与其虚拟视点帧之间的差异关系来改善当前帧的虚拟视点帧的合成质量。相对于现有的视点合成预测编码方法,本方法合成的虚拟视点帧的质量最高可增加3.42dB,在编码方面,本方法平均可以降低约11%的码率,具有更高的编码效率。(4)基于深度感知的低光照图像层次增强技术针对现有低光照图像增强方法使增强后的图像丢失了整体深度感知的问题,本文根据深度图反映了场景的空间信息且其成像过程不受低光照环境噪声影响的特性,提出了基于深度感知的低光照图像层次增强技术,利用深度信息来辅助提高低光照图像的去噪及对比度拉伸的质量。构建了基于深度约束的非局部均值去噪模型,基于深度感知的低光照图像全局及局部对比度拉伸函数,相对于对比方法,本文提出的方法有效提升了增强后图像的深度层次对比度及边缘质量,且去噪效果提升了0.4dB。综上所述,本文通过分析深度图像的特殊统计特性及与纹理图像的结构相似性,将深度信息引入多视点视频编码及图像增强中,分别提出了基于相似约束稀疏表示的深度图空洞填充方法,基于结构张量环路中值滤波的深度视频编码方法,基于自适应学习的视点合成预测多视点视频编码方法,基于深度感知的低光照图像层次增强技术,进一步挖掘了深度信息的应用潜力,提升了多视点及深度视频的编码效率及图像增强质量。