图像、视频是通信系统主要的传输、处理对象,而视频压缩技术是各类视频处理应用的基础。当前,H.264视频编码标准已经将混合编码框架的压缩率提升到了非常高的水平,并且已经逐步推广,但是H.264的性能提高主要来自于对已有标准的细节进行改进,而非提出一个新的框架。学术界与工业界依然在努力将当前的编码效率再提高一倍,而为了进一步提高图像或视频压缩效率,研究者已经将目光投向了如何利用视觉冗余,其中一个重要的方面是将计算机视觉的一些技术成果应用到图像与视频的压缩中来。与传统的视频编码理论相比,计算机视觉与图形学从完全不同的理论角度出发,其目的不在于重建无失真的信号,而是生成一些具有可接受的主观质量的自然场景。在自然视频序列中,有某些特定的内容人眼无法进行精确的感知,例如重复出现的视觉模式、纹理等等。人眼往往只能从中提取语义信息(如颜色、位置、意义等),而不能确切地分析每一个独立的视觉模式。这就允许我们在编码的时候可以超越香农信息论的限制,允许一定的不确定性甚至误差。只要图像和视频接收者无法观察到这种误差,我们就可以在不损失视觉质量的前提下提高压缩效率。基于这种思维,我们可以在原始视频中去除或者简化一些信息,例如空间上重复出现的高频纹理信息,或者易于重建的平滑部分,从而在编码过程节省码字,然后根据提取的同质的视觉模式,在解码端重建具有相似主观质量的内容,是谓分解—合成重建。目前的文献已经证明了此方案在提高压缩效率上的可行性,但这些方案还不统一,对于不同的具体问题,存在各自的局限,很难形成一种广泛认可的新框架。主要的问题包括如何在复杂的自然图像中提取视觉模式、如何传递边信息、传递何种边信息,以及如何保证重建的内容在时间域上的稳定性。本文在这些研究的基础上,提出基于纹理分解—合成重建的视频编码框架,将原始视频序列的部分采样进行一定的前处理,如滤波,从而简化原始信号,达到提高压缩效率的目的。同时对滤波器进行设计,以使其能够区别地对待视频序列中不同的内容,使得重要的结构信息得以保留。本文也提供了相应的重建方案,充分利用视频信号时域上的相关特性,在未经预处理的视频中寻找丢失的细节信息。由于纹理重建方法一般具有随机性,会造成帧与帧信息之间在时间上的不一致,针对由此带来的闪烁效应,我们首先使用了3D的时—空联合重建方案,将视频内容看作三维的数据样本,以此为单位去搜索丢失得细节信息,从而保留物体真实的运动轨迹。我们同时提供了两种不同的样本匹配方案以适应不同的情况,最终,每一个像素会根据搜索得到的细节样本进行更新,获得最优的估计。接下来,我们从另外一种角度去实现对空间、时间信息的联合利用。在这一方案中,我们将视频帧信息视为一个动力系统在不同时间上的状态,而实际获得的简化信号则是观察值。我们在控制论的框架下利用卡尔曼滤波进行系统状态估计,从而对帧信息细节进行重建,同时我们引入了高斯过程回归来描述系统的状态模型。我们提出的是一个框架性的算法,可以非常灵活地适用于不同情况。本课题的主要应用在于视频压缩,可以作为低码率压缩时的一种选项。实验结果表明采用本文提出的编码框架可以取得相比标准H.264更高的编码效率,同时可以保证解码端获得的图像具有近似的主观质量。