H.264是由国际电信联盟(ITU-T)和国际标准化组织(ISO/IEC)共同制定的新一代视频编码标准。标准中引入许多新的编码技术和编码模式，但是需要通过有效的编码控制、特别是码率控制技术才能实现高效率编码，因此相关的研究成为目前视频编码研究的热点。与以往标准不同的是，为了获得高效率的编码，在H.264标准中需要引入了率失真优化(RDO)策略来决定合适的运动估计和宏块编码模式。由于宏块的编码模式与量化参数QP的选取相关，而为了控制码率，QP的计算一般要根据编码模式判别后得到的帧内预测或帧间预测的结果来决定，这将导致在码率控制过程中出现“蛋鸡悖论”。因此，以往的很多经典码率控制算法在H.264中并不适用。现有的解决方案大都基于二次R-D模型，其码率和失真度是量化参数的函数，例如，JVT-H017提出结合HRD的码率控制算法等，虽然较好地解决了“蛋鸡悖论”，但算法复杂度较高，不适用于实时视频通信。 本文为了探索简单而有效的H.264码率控制算法，在对现有的多种编码标准和H.264编码的码率控制算法研究的基础上，结合视频混合编码的特性，对Z.He等人提出的ρ域线性率失真模型进行了深入的分析和研究，提出了基于ρ域线性率失真模型的H.264码率控制算法。本文首先将该模型应用于H.263编码，根据得到大量实验数据的分析，同时结合H.263和H.264的异同，提出将该模型应用于H.264的设想，接着在H.264中验证了该设想的有效性，之后将该模型应用于H.264的编码控制，提出基于ρ域线性率失真模型的帧级和宏块级码率控制算法，并且对新算法进行了详细地描述。新算法中利用LMS算法实现了斜率θ的自适应估计，并且引入参数θratio进行微调，以便实现准确、稳定的码率控制。最后，论文对提出的新算法JVT-H017算法以及近几年一些学者提出的算法进行计算机仿真和比较，并对算法的计算复杂度进行了深入的分析和比较。通过比较可以看出，本文提出的帧级码率控制算法不仅获得更精确的码率控制，而且获得更平稳的输出码率和PSNR，同时实现简单，适用于实时视频通信；本文提出的宏块级码率控制算法的输出码率更接近目标码流，并且计算复杂度降低很多，具有良好的实用价值。