随着21世纪的到来，人类进入了一个全新的多媒体时代。作为多媒体中最重要、最具表现力和最复杂的数字视频处理，也随着时代的发展取得了长足的进步。ITU—T和ISO／IEC制定的H.26x和MPEG系列视频编码标准极大的改变了人们的生活。在新世纪，ITU—T和ISO／IEC又一次联合制定和发布了新一代的视频编码国际标准：H.264／AVC。本文深入研究了H.264／AVC的编码原理，并在此基础上对其参考软件编码器进行了优化。 绪论部分简要介绍了视频压缩编码的基本方法，基于块匹配的混合编码框架的构成以及主要视频编码标准的特点。 第二章介绍了H.264／AVC的编码原理，对其中的主要功能模块：帧内预测、多种块模式的帧间预测、1／4和1／8像素的运动估计、多参考帧、整数变换、CABAC和环路去块效应滤波器及其包含的新技术进行了详细论述。 第三章首先分析了H.264／AVC参考软件编码器JM61e的性能，仿真实验显示由于采用了一系列新技术，使得H.264／AVC的压缩性能明显超过了现有其它标准。在相同的主观视频质量下，码率减少50％左右。然后分析了基于Baseline Profile编码器的计算瓶颈和热点，确定了下一步编码器优化的重点。 最后根据H.264／AVC的特点，采用基于边缘方向信息的帧内预测模式选择快速算法、不对称十字和多六角形网格混合运动搜索快速算法、基于全零块检测的整数变换和运动估计快速算法以及帧间模式选择快速算法对Baseline的编码器进行了优化。有效的提高了编码器的编码效率。