任何一个视频编码系统都离不开码率控制，这是因为：码率控制技术不但要根据信道的约束条件来控制视频编码系统的输出码率来保证视频信息的传输质量，而且还要保证解码器可获得较好的视频图像质量。H.264作为目前主流的视频压缩编码标准，相比于以往标准采用了许多新的编码技术如基于率失真优化的模式判决等，这些新的技术在提高H.264编码效率的同时也给其码率控制过程带来了许多新的难题，故以往标准中的码率控制算法不再适用。虽然H.264经典的码率控制提案解决了这些难题，但是这些经典提案也存在着许多问题，如I帧量化参数QP的选取、目标比特分配、MAD预测精度以及算法复杂度等。为解决上述问题，本文在对H.264编码技术、JVT-W042码率控制算法以及经典的率失真模型进行研究与分析的基础上，对H.264码率控制算法做了如下改进：利用率失真理论，并借助于图像质量评价的相关内容，推导出新的率失真模型；然后针对JVT-W042模式0的码率控制算法存在的问题，根据新的率失真模型分别对I帧码率控制中的QP选择和和P帧码率控制中的目标比特分配和编码复杂度计算进行了算法改进，并通过JM16.0模型进行了算法修改以及相应的仿真实验。结果表明：该算法不仅使得I帧和P帧的目标比特分配、I帧的QP选取更具合理性，还用一种新的P帧编码复杂度代替MAD，从而省去了MAD线性预测过程，并且还省去了量化步长映射为量化参数QP的步骤，减少了率失真模型参数，故在获得较好的码率控制效果的同时降低了算法的复杂度。为了实现缓冲区的状态和目标比特率的精确控制，本文又将上述基于新率失真模型的码率控制算法和PID算法相结合，以缓冲区实际充盈度和目标缓冲级别之间的误差为控制变量，从而修正帧层码率控制中给当前帧所分配的目标比特，进而达到控制QP的目的，并通过JM16.0模型进行仿真验证。结果表明：加入PID的码率控制算法使得缓冲区实际充盈度在目标缓冲大小附近波动，其在提高PSNR的同时，减少了不期望的跳帧个数和PSNR波动，实现较好的码率控制。