H.264是ITU-T VCEG和ISO MPEG联合开发的最新视频标准,它的高编码性能引起了人们的广泛关注。然而,H.264的高运算量使其在现阶段还很难得到广泛的应用。本文的工作主要着重于对H.264编码流程进行了详细的分析与研究,并对提高编码时间的核心,即对其帧间运动估计部分,尤其是H.264的模式选择部分进行了优化改进与实验。运动估计是视频编码器中最重要的模块,其算法直接影响到编码的性能与速度。H.264第一次引入了7种宏块划分模式,并将运动补偿的精度提高到了1/4像素,虽然在编码效率等方面有了很大的改善,但同时也进一步增大了运动估计的运算复杂度。先前对运动估计的研究主要集中于快速的整像素运动估计算法,对于快速模式选择算法的研究很少。本文通过分析视频序列的特点,总结出视频序列具有的共同特点,即颜色变化特点和运动变化特点,并在此基础上提出了一种基于颜色信息和运动信息的快速模式选择算法。本算法简化了模式选择的过程,并在很大程度上降低运动估计的运算量,复杂度和运算时间,所带来的编码损失基本可忽略不计。其次,由于H.264编码标准具有很高的网络友好性,使得其非常有利于网络流媒体的传输,因此H.264编码算法必须能够针对不同量化级的视频流都具有很好的编解码效果,因此本文在快速模式选择算法的基础上,又实现了一种自适应视频量化等级的模式选择算法,使其不仅能够对质量好的视频进行快速有效的编码,而且能够对质量较差的视频也能够得到较好的编码。实验结果证明,本文所实现的快速模式选择算法可以对不同量化级下的视频序列,均可有效提高运动估计速度,降低运动估计复杂度,同时保持较高的峰值信噪比和较低的输出码率。