H.264是国际标准组织的和国际电信联盟两大标准化组织共同制定的。该标准因为其优异的压缩性能和网络适应能力，涵盖了从光碟存储、有线及无线视频通信到数字影音等非常广阔的应用领域。这一新标准采用很多先进的编码技术，使其压缩性能显著提高，但是这些先进技术极大的提高了运算复杂度，使得这一新技术在普通的便携式和移动终端上很难实现。在保证视频质量和码率要求的前提下，有效的降低编码运算量是目前国际上的热点研究领域。　　 H.264为了得到高质量、低码率的视频编码，采用比以往标准更丰富的预测模式。据统计在H.264的编码过程中，有50％左右的时间耗费在帧内或帧间编码的模式选择上。本文针对这一现状，对基于率失真理论的帧内和帧间模式选择过程分别提出了优化方案。对帧内模式选择，本文采用了两种方法降低运算复杂度：其一通过运动纹理估计，提前判断出采用16×16大小的块预测还是4×4大小的块预测，从而减少了对被否定的系列编码模式选择的运算量；其二通过对4×4的块模式，采用运算量较小的平均预测误差，提前排除一些可能性极小预测模式，进一步降低计算的次数，从而减少了编码时间。对于帧间模式选择，根据帧间预测模式概率分布、运动剧烈程度、纹理复杂度，本文采用三步提前终止的策略，提前终止对不可能模式的计算：第一步、SKIP模式早期终止策略，选出只需进行SKIP模式预测的宏块；第二步、P16×16模式早期终止策略，选出只需进行SKIP和P16×16模式预测的宏块；第三步、P16×8和P8×16模式的早期终止策略，选出只需进行SKIP、P16×16、P16×8和P8×16模式预测的宏块。　　 本文把两种改进方案分别在JM8.6上进行测试，并把改进算法和JM8.6的标准算法进行对比。测试表明，本文改进的帧内选择算法在峰值信噪比全搜索算法低0.02dB、编码比特率仅比全搜索算法高1.92％的前提下，平均编码时间比全搜索算法减少了42％；本文改进的帧间模式选择算法，在视觉效果几乎不受影响的情况下，节约了50.37％到70.29％的编码时间。