H .264视频编码标准的主要目的就是提高对视频的压缩性能。为了取得最优化的压缩效率,率失真优化和码率控制技术具有非常重要的地位。本文深入分析了H.264视频编码标准中计算复杂度极高的率失真优化技术和码率控制的基本原理,总结了最新的率失真优化模型和码率控制算法的研究成果。在此基础上,提出一种新的帧层码率控制算法。首先,为降低RDO(Rate Distortion Optimization,率失真优化)与码率控制之间的相互依赖性,提出一种二级码率控制算法。其次,为了提供更加准确的帧复杂度的预测,用基于RDO模式选择中的比特数信息代替MAD(Mean Absolute Difference,平均绝对残差)来预测帧的复杂度。最后,提出一种自适应指数R-Q模型。新的码率控制算法克服了原有算法在码率控制精度和编码性能上的不足。本文还提出了一种改进的率失真优化模型。为了能更加精确地估计帧内/帧间宏块的编码比特数,首先提出了一种新的码率估计模型,码率估计值为一序列编码参数的线性组合,这些参数跟熵编码和变换系数紧密相关。接着提出了一种新的失真度估计模型,失真度估计值与量化步长密切相关。从而得出新的性能更加优越的率失真优化模型。本文仿真平台为JM14.2。实验结果表明,与原有模型相比,本文提出的率失真优化模型能够对编码比特数、失真度以及率失真代价做出更加准确的估计;与原有算法相比,本文提出的码率控制算法在比特数的精确性与编码效率上均有优越的性能。