H.264/AVC帧内预测技术采用率失真优化策略进行最优化编码模式选择,提高了I帧的编码效率,但同时也提高了帧内预测的计算复杂度,降低了帧内编码的速度。针对上述问题,本文对率失真优化帧内预测模式选择算法进行了深入的分析与研究,并在此基础上提出了两种快速算法。论文的主要研究内容包括:1、研究H.264/AVC帧内预测技术的基本原理和主要算法,对率失真优化帧内预测模式选择算法进行算法复杂度分析,并对一些典型的帧内预测模式快速选择算法进行了研究。2、提出了一种帧内预测模式快速选择算法。该算法基于亮度块的方向特性,通过一些复杂度不大的计算,选择少数几个可能性较大的预测模式进行率失真代价计算,得到最佳亮度预测模式,并根据色度预测模式选择过程的特点,以SATD计算取代率失真代价计算选择最佳色度预测模式。实验结果表明:与参考模型全搜索算法相比,该算法能够在保证图像质量的同时平均降低48%的编码时间,并且比特率增加不到3%。3、提出了一种亮度预测模式快速选择算法。该算法基于亮度宏块的平坦程度,根据亮度宏块平坦程度特征量SADLM的值,利用预先设定的亮度预测方式判决规则为当前亮度宏块选择合适的预测方式,对于特征明显的亮度宏块,只需计算一种亮度预测方式下的预测模式的率失真代价,减少了大量不必要的计算;而对于特征不明显的亮度宏块,同时计算两种亮度预测方式下的预测模式的率失真代价,保证了算法的准确性。实验结果表明:与参考模型全搜索算法相比,该算法在平均降低59%的编码时间的同时比特率增加与峰值信噪比损失均很小,对视频质量几乎没有影响,并且编码的图像越简单,该算法的优化效果越好。上述两种快速算法都是对H.264/AVC参考模型全搜索算法的有效改进,都能获得与全搜索算法相近的率失真性能,都达到了预期的优化效果。