H.264/AVC和其扩展言案Ⅳ——多视点视频编码(Multi-view Video Coding, MVC)是ITU-T VCEG和ISO/IEC MPEG联合制定的最新单视点和多视点视频编码国际标准。H.264/AVC标准以较高的编码效率和网络友好性受到人们的广泛关注,MVC的出现也吸引了很多科研人员对其进行研究,这两个领域也是目前单视点和多视点视频编码中最活跃的研究领域,受到了诸多科研机构及多媒体工业界的高度重视,困此,对其中的关键技术进行深入研究具有十分重要的理论与实际意义。率失真优化技术不受编码框架的限制,可运用于运动估计、编码模式选择、码率控制、差错控制等多个编码环节,对提高编码性能具有重要作用,是数字视频编码中广泛采用的关键技术之本文重点研究率失真优化技术在单视点和多视点编码框架下的应用,主要内容包括以下四个方面：首先,研究了单视点视频编码框架下的快速率失真优化算法。在H.264/AVC单视点编码框架下,对宏块的编码比特率和块编码方案进行了深入分析,得出了宏块的各种编码模式和最佳编码模式在比特率和块编码方案上具有一定相似性,并发现比特率和块编码方案相结合能够对各种编码模式进行比较准确的区分。由此提出了种快速率失真优化算法,算法根据编码宏块自身的一些内在特征来实现快速编码。首先用P16x16模式对宏块进行编码,根据编码得到的比特率、块编码方案和参考帧信息一起选出候选编码模式和候选参考帧,在候选出的模式和参考帧中进行运动估计和模式选择的率失真优化,选出最佳编码模式。实验结果表明,提出算法克服了现有多数算法或多或少依赖于时空相关性的缺陷,以编码比特率平均增加1.32%、亮度PSNR平均下降0.075dB的代价,将编码的平均时间减少了71.2%。其次,研究了单视点视频编码框架下的传输失真度估计模型。详细分析了H.264/AVC单视点视频流在易错信道中传输时的信道误差扩散特点,在已有的基于信道仿真的传输失真度估计模型基础上,提出了一种基于信道仿真的传输失真估算模型。模型在编码端采用多个仿真信道模拟视频传输,根据特别设计的丢包模板,计算出某个特定丢包率下的信道误差,再用信道误差来计算传输失真。接下来,对丢包率与传输失真之间的关系进行了研究,得出了二者之间的一种经验二次关系,利用此关系和特定丢包率下的传输失真,计算出其余丢包率下传输失真。本文设计的模板克服了宏块丢失不均匀的缺点,丢包率与传输失真之间的二次关系也减少了其余丢包率下的传输失真估计误差。整个估计过程中不会产生失真积累,也不需重建解码图像。实验结果表明,本模型具有较高的估计精度,平均估计误差是9.4%,平均编码时间约增加10%。再次,研究了多视点视频编码框架下的传输失真度估计模型。详细分析了HHI提出的基于H.264/AVC的MVC框架的结构特点,深入比较了采用基于递推与基于信道仿真的传输失真估计模型来估计MVC视频流传输失真的利与弊,结合这两种传输失真估计模型的优点,提出一种混合式的多视点视频传输失真估算模型。模型对关键帧的传输失真采用基于信道仿真的失真度估计模型进行估计,对非关键帧的传输失真采用基于递推的失真度估计模型进行估计。实验结果表明,模型平均估计误差是15.91%,平均编码时间约增加1%,不仅克服了基于递推的失真估计模型估计精度低的缺点,而且也克服了基于信道仿真的失真估计模型计算复杂度高的缺点。最后,研究了多视点视频编码框架下的联合信源信道率失真优化编码模式选择算法。深入分析了MVC框架的传输失真扩散的特点,得出关键帧在差错控制中具有十分重要的作用,在编码端进行差错控制编码时,需要对关键帧和非关键帧采用不对等的差错控制措施,重点保护关键帧。在此分析的基础上,将本文提出的混合式传输失真估计模型与率失真优化相结合,提出一种针对MVC的联合信源信道率失真优化的编码模式选择模型。并对模型编码关键帧时的拉格朗日乘子进行了统计实验,得出了适合于本模型的拉格朗日乘子。在编码过程中,针对关键帧和非关键帧采用不同的拉格朗日乘子进行率失真优化,既保证了解码图像质量,又将比特率的增加控制在了一个合理范围。实验结果表明,亮度PSNR平均提高1.5dB,编码比特率平均增加13%。