20世纪90年代以来，JPEG，H.263，MPEG-1，MPEG-2等图像多媒体国际标准相继出台，它们成功地应用于多种实用场合。但是，随着时代的发展、Internet的普及，以及对视频传输需求不断提高，现有的这些视频压缩标准明显存在着一些缺陷和局限性。H.264是目前由ITU-T的视频编码专家组(VCEG)及ISO／IEC的移动图像专家组(MPEG)大力发展研究的适应于低码率传输的新一代视频压缩标准。作为视频编解码领域的最新标准，H.264具有压缩率高、差错恢复能力强、适用范围广等优点。为达到理想的数据压缩率，H.264编码器采用了很多新的编码算法，这些算法极大地增加了编码器的计算复杂性，使其目前在PC环境下的实时应用受到很多限制。要实现H.264的实时编解码，必须对其进行大量的优化工作，但这种优化工作不应该以较大的性能牺牲为代价。本文首先介绍了视频编解码技术的国内外研究、发展现状以及H.264／AVC标准；在分析H.264／AVC编码器软件的不足和问题的基础上，结合模型自身特点，从帧内预测与帧间预测、运动估计与运动补偿以及整数变换与量化这三个不同的方面入手对H.264／AVC编码器软件进行了优化。在优化过程中改进了模式选择算法。以JM10.1软件模型为基础，进行了仿真试验，并对比了优化前后的图像视觉质量、编码时间和PSNR值变化。实验证明，在采用改进的选择算法和变换与量化过程后，在视频图像信噪比基本上不变的情况下，运算复杂度大大降低，提高了视频压缩编码效率。