作为新一代的视频编码国际标准，H.264/AVC相比以往的标准，压缩性能有很大的提升，但编码器的复杂度也大为增加。在H.264/AVC编码器中，模式选择过程具有很高的计算复杂度，因此如果对模式选择过程进行优化将可以极大的加快编码速度。本文提出了一种分阶段优化的帧间模式选择算法，对P片内的每一个待编码宏块的处理分为四个阶段：第一阶段为提前终止阶段，如果判断出该宏块可以使用Skip模式进行编码，则该宏块直接采用Skip模式作为最终编码模式而不再检测其他模式；第二阶段为利用帧间时域相关性进行模式选择的阶段，首先查看前一帧对应位置处宏块的编码模式是否为Skip模式，如果是则对当前宏块不进行帧间8×8和帧内模式的检测；第三阶段为对帧间8×8模式进行优化的阶段，通过比较帧间16×16、帧间16×8以及帧间8×16三种模式的运动代价之间的大小关系，减少待检测的子宏块模式；第四阶段为对帧内模式的选择性检测，首先分别定量计算宏块的时域相关性和空域相关性，然后比较两者的大小，当宏块的时域相关性大于空域相关性时不再检测帧内模式的可能性，直接选择最优的帧间模式作为宏块最终的编码模式，否则继续对帧内模式进行检测，然后比较帧间模式和帧内模式的拉格朗日率失真代价，选择代价最小的作为最终的编码模式。通过这样四个阶段的优化，待检测的模式相比使用完整的率失真优化选择减少了许多，有效的降低了计算复杂度，从而大大加快了模式选择过程。通过在JM模型上实现本文提出的快速算法，并对多个标准测试视频序列进行编码，本文提出的算法相比标准实现的编码结果，峰值信噪比下降了0.04dB，码率稍有上升，但不到0.53%，这表明使用快速选择算法进行编码时，虽然画质有所下降、码率稍有上升，但都控制在可接受的范围内，相对于这些不足，使用快速算法进行编码所需要的时间减少了56.92%，特别是对于场景内物体运动较缓和的视频序列，编码时间减少的比例高达70%以上，这充分验证了该算法的正确性和有效性。