自从1948年香农提出了率失真理论以来,率失真理论就是信源编码中重要的基础理论。率失真优化技术能够有效地提高图像/视频压缩编码系统的性能,无论是从信息论的角度还是从设计实际编码系统的角度它在信源编码中都有着广泛的应用,尤其在标准已定义的场合,率失真优化技术可以不受编码结构和技术的限制进一步提高系统性能,因而一直以来都是热点的研究内容。最近国际上新制定的H.264/AVC视频编码标准在和以前的标准编码框架类似的条件下,压缩效率至少提高了一倍以上,这一突破说明了对压缩编码中的关键技术进行研究和率失真优化具有十分重要的理论和实际意义。在率失真优化技术中率失真曲线斜率λ决定了优化的性能。在有损编码系统中量化是失真的主要来源,量化器的性能直接影响了系统的编码效率。随着对高压缩比高质量的图像/视频信号需求的不断增加,如何最优地量化信号成为越来越重要的问题。因此本文围绕着率失真优化,主要研究了下面几个方面的问题:首先,我们对如何在给定码率约束条件下求解最优的率失真曲线斜率λ~*的问题进行了研究。针对目前常用的二分法当率失真曲线上的可操作点稀疏时可能不收敛的情况,提出了基于黄金分割搜索法求解最优率失真曲线斜率λ~*的算法。该算法克服了二分法在可操作点稀疏的情况下不收敛的缺点,而且复杂度较低、易于实现,适于应用在实际的编码系统中。在JM11.0上的实验结果表明使用所提算法求解的λ~*进行模式选择可以有效提高系统的率失真性能。然后,研究了如何优化块编码压缩系统中的量化器。针对图像/视频编码系统中量化器输入信号的分布特点,提出了率失真优化的量化阶调整算法。算法首先调整输入信号的量化阶,实现系数级的优化;然后以块为单位优化编码块的量化阶,实现块级的优化。实验结果表明本算法能够有效提高量化器性能,并且编码增益随码率的增加而增加。同时所提算法还能够保留更多图像细节,解码后的图像具有更好的主观质量。所提算法没有额外开销,与标准解码器兼容,而且适用于任何基于块编码的图像和视频压缩标准。最后,本文研究了如何运用率失真优化提高格状编码量化器的性能。针对原有量化算法中没有综合考虑失真和码率的缺点,提出了率失真优化的格状编码量化算法。所提算法不仅优化了输入信号在子集中的量化阶,还对路径选择进行了优化。实验结果表明所提算法可以有效提高格状编码量化器的性能。该算法没有额外的开销,与标准的解码器兼容,同时可以广泛适用于基于格状编码量化器的图像和视频编码系统。