随着数字视频的迅速发展和广泛应用,人们对视频的质量和内容的多样性要求越来越高,传统的二维(2D)图像已不能满足要求,因此,人们已将目光转向三维(3D)视频技术。三维电视/自由视点电视(3DTV/FTV)将成为继高清晰度电视(HDTV)之后的下一代电视技术。然而多视点视频的原始数据量巨大,给其存储、压缩以及传输都带来了巨大的挑战,这成为制约多视点视频技术发展的瓶颈,因此多视点视频编码(multi-view coding, MVC)成为近几年的研究热点。本论文深入研究了基于H.264/AVC的多视点视频编码方法及相关技术,主要研究内容与创新成果如下：1.针对多视点视频编码采用固定的视点间预测结构,难以适应情况复杂的多视点视频编码的问题,本文提出了一种新的视点间预测结构。首先根据多视点视频相关性分析确定I-视点的位置,然后综合考虑编码效率和用户随机访问等因素确定I-视点和P-视点之间插入B-视点的数目,自适应调整视点间预测结构,以获得较好的编码综合性能。本文对不同序列分别采用灵活的视点间预测结构,提高了多视点视频的压缩效率。2.为了满足不同用户端的需求,本文在MVC中融入视点可分级编码。根据多视点视频序列的相关性确定基本视点以及各个增强层视点,并进行合理的视点间预测的视点可分级视频编码。该算法在保证较高编码性能的同时,实现了视点可分级。3.为了满足用户端的视点质量一致性和不同信道比特率的需求,本文在分析现有视频码率控制中率失真模型的不足和多视点视频编码的特点后,提出了基于二项式率失真(rate-distortion, R-D)模型的帧层和宏块层两种多视点视频编码码率控制算法。帧层码率控制主要是利用已编码信息进行MVC码率控制,虽能保持较高的编码效率,但码率控制偏差比较大。宏块层码率控制除了根据已编码的信息在视点间进行合理的码率分配外,还利用帧复杂度和时域活动度在帧层进行码率分配。实验结果表明,与目前采用固定量化参数的JVT-MVC相比,该算法能够有效地控制多视点视频编码的码率,同时保持高效的编码效率。4.在上述多视点视频编码码率控制算法的基础上,本文根据视差预测和运动预测的结构关系将所有图像分成6种类型的编码帧,并改进二项式率失真模型,提出了基于相关性分析的帧层以及宏块层两种多视点视频编码码率控制算法。帧层码率控制主要是利用视点间相关性在视点间进行比特分配。仿真实验结果表明该算法,与MVC相比,解码图像PSNR平均能提高0.05ddB,但码率控制偏差比较大,平均码率控制误差为1.7%。为此,本文进一步对宏块层进行MVC码率控制。该算法的核心根据多视点视频相关性分析在各个视点之间进行合理的码率分配,将码率控制分成4层结构进行多视点视频编码的码率控制。其中,帧层码率控制考虑分层B帧等因素分配码率,基本单元层码率控制根据宏块的内容复杂度采用不同的量化参数。仿真实验结果表明该码率控制算法的实际码率与目标码率平均误差可控制在0.8%,与MVC相比,解码图像PSNR最高能提高0.18dB。