率失真理论是有损压缩技术的理论基础。目前,有损压缩技术在各种视频和图像的压缩编码方案中获得了广泛应用。对于视频应用而言,率失真问题不仅给出了视频编码系统的实际设计过程所需的理论背景,而且提供了通过提高压缩编码效率、保证压缩编码数据的网络传输可靠性、提高接收端的恢复视频质量等途径提高视频通信系统性能的指导。本文对基于率失真理论的编码器控制问题进行了深入研究,提出了几种新的编码器控制技术。本文的主要研究内容和成果如下:1.图像组中,靠近I帧的P帧直接或间接地用于后续编码帧的参考帧。因此,图像组中各P帧对于整体编码效率的贡献是不同的。基于此,提出一种基于抛物线的缓冲区控制方法。该方法添加到联合视频组为H.264/AVC推荐的码率控制方案中,通过在图像组的P帧之间进行不等比特分配提高了编码器性能。2.在对视频帧中前景区域和背景区域的编码率失真特性分析的基础上,提出了一种应用于宏块层的基于区域的码率控制方法。该方法首先在比特分配过程中使用一个根据区域信息自适应确定的加权因子,适当地为前景区域中的宏块分配较多的目标比特数;然后使用二次模型确定该宏块的量化参数,其中二次模型的系数与宏块所在区域相关;最后根据区域信息对计算所得的量化参数进行调整。3.提出了一种适用于分层预测编码结构的码率控制基本方案。在充分考虑使用分层B帧的分层编码结构的编码特性的基础上,设计了时间等级层码率控制过程,并且在帧层码率控制过程中引入了一个能够反映各时间等级层编码特性的典型加权因子。该方案使用二次模型计算帧层量化参数,其中二次模型的系数与编码帧所在的时间等级有关,并根据码率控制中各层目标比特的使用情况对计算所得的量化参数进行自适应调整。4.在所提出的适用于分层编码结构的码率控制基本方案的基础上,提出一种自适应确定关键帧量化参数的方法。该方法使用一个描述起始量化参数、可用传输信道带宽和序列特性三者关系的经验表达式计算序列首个关键帧的量化参数。对于其它关键帧,该方法使用二次模型计算帧层量化参数,然后根据参考量化参数对计算所得的量化参数进行调整。5. H.264/AVC编码器使用图像填充的方法提供对任意分辨率视频编码的支持。从编码效率和软判决的概念出发,本文将基于率失真的图像填充问题表述为一个最优化问题,并给出了求解该问题的迭代算法,将率失真最优的图像填充与编码器率失真优化过程相结合。为降低迭代算法的计算复杂度,本文在充分分析填充像素对编码器性能影响的基础上,提出一种启发式算法。该算法直接利用了编码器率失真优化过程中的已有算法,使用了模板匹配和空间域外推的概念和方法确定填充像素的值。该方法在为编解码器引入极小计算复杂度的前提下有效提高了编码效率。