随着通信技术和Internet技术的发展，人们对视频的需求日益增加，这与当前视频技术编码能力有限之间的矛盾日益突出，为了缓解这个矛盾，VCEG和ISO／IEC两大国际组织在各自推出H.26x和MPEG-x等视频压缩编码标准之后，联合制定了新一代也是目前最新的视频编码标准—H.264标准，它具有同类标准所无法企及的编码优势，能支持各种网络环境中甚低码率下的高质量视频通信，但是由于这种编码性能是以更多先进编码技术的引入为基础的，编码复杂度也急剧增加，这大大限制了它的实际应用。降低编码复杂度同时又保持编码性能就成为该领域的研究热点之一，这也是本文研究的初衷。 本文在对视频压缩原理和现有压缩编码标准作简要分析的基础上，比较详细的介绍了H.264编解码器的整体构架和编码特点，对其中的帧内预测，帧间预测，变换量化和熵编码等模块的原理加以剖析，并在VC平台上具体实现了H.264的编解码过程。之后，重点对帧间预测部分进行深入研究，分析现有相关算法的性能和不足，针对其原因从以下两个方面作了改进：一方面，研究发现现有块匹配算法存在搜索路径单一和搜索模板与块运动矢量分布状况适应性不强的特点，为增强搜索的针对性和自适应性，提出了基于块运动范围进行分类，并按类分模板展开搜索的混合型块匹配算法；另一方面，在选择帧间预测模式时，官方参考软件JM采用检测所有模式的“遍历”方式，尽管效果最好但是时间消耗极大，而某些快速算法则通过只对部分预设模式进行检测的“采样”方式来加快选择速度，但是由于选择原则过于粗糙，导致编码性能严重下降，在分析它们编码质量和编码速度不能兼顾的原因之后，基于视频序列特征和模式之间相关性，提出了模式分组提前判决的快速模式选择算法。通过这两个方面的优化，增强了编码的针对性，能较多地去除编码冗余。实验表明，与目前的编码标准算法相比，本文算法在取得同等峰值信噪比和码率的条件下，编码速度提高55％以上，有利于H.264标准的实用化。