H.264/AVC是目前最新的视频编码标准，与以往的视频编码标准相比H.264/AVC具有更高的压缩效率和网络适应性。这取决于它引入了一系列先进的编码技术，来充分挖掘视频序列的相关性，尽可能减小视频信号的空间和时间冗余。这些新的编码方法极大地增加了宏块的可选编码参数集(即宏块的编码模式)。为了对每个宏块都选择最佳的编码模式，H.264/AVC采用了基于率失真优化的模式选择算法，它通过计算所有可能编码模式的率失真代价，从中选择最小者对应的模式作为宏块的最佳编码模式。由于率失真代价函数的计算非常复杂，涉及运动估计/补偿、DCT 变换/反变换、量化/反量化、熵编码等一系列耗时操作，急剧增加了编码器的计算复杂度，严重影响了H.264/AVC的广泛使用。针对这样的问题，本文做了以下几个方面的研究： (1)研究了H.264/AVC视频编码器的原理和框架，并详细介绍了一些关键编码技术包括帧内预测编码、帧间预测编码、整数DCT变换和量化、去块效应滤波、熵编码等。然后重点针对编码模式选择中的率失真优化问题介绍了信息论中的率失真编码理论，讨论了率失真理论在视频编码算法中的应用，结合H.264/AVC视频编码标准，研究了基于率失真优化的运动估计和基于率失真优化的编码模式选择算法等问题。(2)提出了一种快速帧内编码模式选择算法。它首先利用宏块的纹理特征来确定帧内预测块的大小，避免同时对两种块尺寸都做预测；然后针对4×4块的帧内预测，通过计算它的可能纹理方向，将候选预测方向限制在一个更小的范围内，从而避免对该范围以外预测方向率失真代价的计算，以减少编码器的计算复杂度。编码测试表明，该算法对Ⅰ帧编码，平均可以减少 42％的编码时间，同时保持与全搜索算法几乎相同的编码性能，峰值信噪比 PSNR 仅下降0.02dB，比特率的增加小于2％。(3)提出了一种快速帧间编码模式选择算法。通过研究最佳帧间编码模式分布，提出了三种模式选择早期终止策略，分别对SKIP，P16×16，P16×8和P8×16这三类模式成为最佳编码模式进行判断，适当地结束编码模式选择过程，避免了对后面不可能模式率失真代价的计算，从而减少了帧间编码的计算复杂度。实验测试表明，该算法可以减少H.264/AVC编码器50％～70％的编码时间，同时保持与全搜索算法基本一致的编码性能，峰值信噪比PSNR平均下降0.17dB 左右，编码比特率平均增加2.42％。 以上给出的快速编码模式选择算法，对于各种类型的视频序列在不同的比特率限制下，均可以有效降低编码器的复杂度，并保证与原来算法基本相同的编码效果，对H.264/AVC视频编码标准的应用具有重要意义。