ITU-T和ISO/IEC两个国际标准化组织共同推出的新的视频编码标准——H.264/AVC,不仅编码效率高,而且能支持从低带宽、高误码率的无线移动视频通信到高码率、低延迟的视频广播及在线流媒体等多种应用,因此日益受到业界的关注。视频压缩编码的主要目标就是在比特率受限条件下,尽量使编码失真最小。为了取得更高的压缩效率,并在接收端获得最佳的视频质量,率失真优化和码率控制技术在视频编码中占有重要地位。本文对H.264中的码率控制算法进行了深入的研究,针对其算法的不足提出了一些改进方法。通过对大量QCIF测试序列的编码结果进行分析,发现不论图像类型是I、P帧,编码后的图像的PSNR值和编码量化参数QP具有线性关系。鉴于I帧占用了较多的比特数,而且其编码质量对整个GOP(图片组)的质量具有重要影响,本文利用这种线性关系来确定I帧的量化参数QP,以克服原H.264算法对于I帧的量化参数确定方法过于简单、不够准确的缺点,提高重建视频的质量。H.264/AVC码率控制算法中的一个重要手段是采用线性模型来预测宏块的MAD值。由于它只考虑时间相关性,预测精度较低。本文综合利用视频序列中时间和空间两方面的相关性,提出了改进的MAD预测模型,并根据前一个单元的预测误差对当前的MAD预测值进行修正,有效地减小了预测误差。当视频序列进行场景切换时,其相邻帧间的时间相关性大大减弱,如果继续采用MAD值预测模型进行预测,将严重地影响码率控制的准确度及图像编码的质量。本文根据场景切换将使相邻帧图像的平均灰度差发生较大变化这个现象,快速检测是否发生场景切换,并在场景切换时对切换帧的编码模式及GOP结构进行调整,重新确定新GOP各帧的量化参数,提高了场景切换帧及同一GOP中后续的P帧的质量。实验表明,本文提出的方法有效地提高了H.264的码率控制的性能。