随着通信技术和网络技术的发展,视频传输不再局限于传统的固定带宽信道。基于典型的分布式系统Internet和无线网络的多媒体业务,例如视频会议、视频点播、手机电视等成为了当前非常有吸引力的应用领域。此类信道时变的异构网络给视频编码提出了前所未有的挑战。针对这样的情况,ISO和ITU的联合工作组JVT开发了新一代的视频编码标准,即可伸缩视频编码(SVC:Scalable Video Coding)。它提供了数种可高效组合的可伸缩特性,使得由单个压缩码流能够提供多个子样本,终端用户可以根据自己的需要选择或截取相应码流部分进行解码。本文的研究工作正是从可伸缩视频编码出发,主要基于率失真的分析来解决视频编码的重要环节码率控制在可伸缩新环境下的应用,另外还讨论了编码的另外一种约束:恒定质量编码。本文首先简要介绍了可伸缩视频编码的主要技术,按照时间、空间、质量三种基本可伸缩特性阐述了各自的实现方案,进而指出了传统视频编码中的率失真优化理论在可伸缩环境下的应用,作为后文的技术背景。然后,我们对码率控制问题作了详细的定义并深入分析了H.264/SVC码率控制的技术难点。我们首先提出了一种针对SVC与H.264/AVC兼容的基本层的码率控制算法:通过引入预编码过程解决了H.264中著名的由于采用依赖量化参数的率失真优化模式选择而带来的蛋鸡悖论;通过在率失真优化过程中为每种候选模式单独确定精细化的量化参数来更好地反映特定宏块的率失真特性;通过限制缓存区充盈程度并结合率失真代价进行目标比特的分配。接着,我们针对SVC的Hierarchical B预测结构提出了一种码率控制方案,其中充分考虑了编码时一个图像组内属于不同时域分级图像帧的重要性不同的特性,在进行目标比特分配时给予不同的权重因子。随后,我们将基本层的码率控制算法扩展到增强层,并同时进行基本层和增强层的码率控制。由于我们的算法具有较强的去耦合性,因此可以基本沿用原有的码率控制模型和各种参数设置。针对增强层的情况并考虑到实现复杂度,采取SVC新引入的宏块预测模式BLSkip作为预编码的模式。此外,我们还提出了一种简化率失真优化模式选择的方案,根据各候选模式已出现的统计分布调整模式选择时的顺序,并同时结合提前终止阈值判断避免对不必要模式的检查。这样就可以降低码率控制算法在可伸缩编码时的总体复杂度,加快运行速度。最后,我们对恒定质量编码问题进行了研究。我们观察到当采取Hierarchical B结构编码时,由于编码顺序的问题会造成帧间的质量波动,且此现象在场景切换时尤为明显。我们提出了一种简单有效的基于峰值信噪比和平均绝对误差两种度量的恒定质量控制算法,通过在编码过程中观察图像质量的变化情况,选择合适的量化参数来尽可能地控制图像质量的波动范围。