在H.264/AVC中,采用了许多新的编码技术,比如,多参考帧、可变块大小运动估计以及率失真优化技术等。这些编码技术提高了H.264/AVC视频编码的压缩效率但同时也大大增加了运算复杂度。如何在保证压缩效率的同时降低编码复杂度具有重要的研究价值。模式选择是H.264/AVC编码过程中相当耗时的环节,本文重点对帧内模式选择和帧间模式选择进行了研究。本文研究了通过缩小预测模式的选择范围来进行模式选择的两个代表性的算法,对不同分辨率、不同纹理复杂度的标准序列在两种算法下分别进行测试,从率失真RD曲线和解码图像的主观质量两个方面验证了算法的有效性。然后研究了H.264/AVC中采用的遍历的帧间模式选择算法,给出了一种P帧编码的快速帧间模式选择算法。该算法利用宏块模式与avgJmotion之间的关系,根据代价函数值Jmotion(16×16)的范围对候选搜索块模式进行分类,再利用最佳模式和次最佳模式的率失真代价值之间的关系以及时间相关性提前排除一部分宏块模式,从而缩小了候选预测模式的选择范围,降低了运算的复杂度。