近年来，数字视频应用产品正迅速渗透到人们日常生活的各个领域，给人们的生产和生活带来了强大的冲击力。另一方面，视频应用的不断拓展，对视频压缩标准提出了更高要求。H.264作为最新的视频压缩标准，无论在编码效率、质量还是网络接入性能上都取得了巨大提高。同时，随着通信技术和网络技术的发展，视频传输不再局限于传统的固定带宽信道，基于Internet网络的多媒体业务成为当前非常重要的应用领域。这些应用环境的不同给视频编码的码率控制研究提出了更大的挑战。本文的研究工作是从H.264出发，围绕不同应用环境和要求下的码率控制问题展开。在深入分析H.264码率控制的难点后，针对CBR信道的实时比特分配码率控制技术，误码信道下联合误码抵抗的码率控制和VBR视频的联合信源信道码率选择提出自己的见解。 本文首先介绍了H.264中采用的先进编码技术和算法特征，重点描述了H.264中与整数类DCT变换相结合的新型量化策略；然后分析了信源编码的率失真基本理论和量化失真的理论模型，由此引出了码率控制中常用和比较经典的码率—量化(R-Q)计算模型和失真—量化(D-Q)计算模型，并阐述了率失真理论在视频压缩编码领域的编码参数选择和码率控制中的应用；最后对码率控制的一般问题进行描述，并介绍了H.264现有的两种主要的码率控制策略，分别为基于TM5的和基于二项式率失真模型的方法，为后文一系列的对比实验提供了依据。 然后，针对CBR信道的应用环境，对H.264提出一种基于直方图码率模型的CBR码率控制方法。先结合H.264的编码特点提出一种新颖的码率模型，此模型使用前后两帧图象直方图对应位置值的平均绝对差(MAD)作为帧编码复杂度的测量准则，重点解决了H264中由于采用了率失真优化模式判别而给码率控制带来的困难。接着分析了目前流行的帧级比特分配方法，并提出基于虚拟缓冲区的帧级比特分配和基于图像活动性的宏块条比特分配方法，在此基础上进行宏块条级的量化级调整和基于感兴趣区域的宏块量化级确定。为了提高算法的有效性和可靠性，避免在场景切换处发生码率控制的失效，此算法加入了对场景切换的检测；同时，为了更好的实现算法，将率失真优化模式判决中的拉格朗日乘子的计算进行改进，并结合到上面的码率控制算法中，最终的实验结果证明了此方法的有效性。 接着，针对Internet包丢失误码信道的环境，提出基于低码率视频传输的一种联合误码抵抗的H.264比特分配和码率控制方法。首先根据Internet包丢失信道的统计分布特征，基于Bernoulli信道模型，在编码端宏块率失真编码模式判决时，考虑信道失真，这种方法能有效提高视频流在包丢失环境下的抗误码鲁棒性。接着，为了在误码抵抗的同时进行码率控制，提出另一种基于运动补偿残差的码率模型，它的提出是针对理想信道的，但是通过分析，只要经过少许改动，这种码率模型也能用于考虑信道失真的率失真优化帧内模式判决的误码信道中，而且这种码率模型在理想信道和非理想信道具有相同的形式。码率控制的关键是要估计每帧的编码复杂度，于是针对误码信道提出一种快速的宏块编码模式判决方法，以此来作为码率控制的依据。最后，为了提高整个视频的解码质量，本方法还采用基于率失真优化的帧级比特分配方法，并提出宏块条级的量化级计算方法。针对理想信道和非理想信道的对比实验证明了本方法可以将码率准确地控制在目标码率附近，并且接收端的解码质量明显高于常用的随机帧内宏块刷新方法。 最后，提出分离码率约束的VBR压缩视频的联合信源信道码率控制方法。首先分析了VBR几种不同的工作模式，指出其各自的特点和适用情况，在编解码端缓冲区和网络约束下提出受限VBR(C-VBR)下的联合信源信道码率控制的问题；引入网络漏桶模型(LB)，对H.264提出简化高效的VBR视频信源信道码率控制方法，这种方法的关键是对编解码缓冲区和漏桶模型对联合信源信道码率选择的约束进行了分离和简化，使得码率控制更加合理。利用前面推导出的H.264码率模型，根据获得一致失真的准则先进行信源码率控制，力求获得稳定的视频质量；再根据平滑码率和提高统计复用能力(SMG)的要求进行信道传输速率选择。最后，对典型视频测试序列和包含频繁场景切换序列进行实验，实验结果证明在相同的编码端缓冲区容量下，这种VBR视频编码方法可以比CBR编码获得更高的PSNR和质量稳定性。特别对于场景切换的情况，此方法在场景切换处和不同复杂度的片断中均能获得较好的性能。