ITU-T和ISO/IEC联合制定的新一代视频编码标准—H.264/AVC标准,支持各种网络环境中甚低码率下的高质量视频通信,具有同类标准无法企及的编码优势。由于标准中采用了更先进的编码技术,使得运算量和编码复杂度大大增加,严重限制了它的实际应用。为了尽可能的克服H.264/AVC编码系统的缺点,以充分发挥其优势,本论文开展了对H.264/AVC关键算法的研究。论文简要分析了视频压缩原理和现有编码标准,详细的介绍了H.264/AVC编解码器的整体构架和相关技术,对其中的帧内预测、帧间预测、变换量化和熵编码等模块进行了分析讨论。重点对运动估计中的块匹配算法和帧间预测算法进行了改进。由于现有块匹配算法存在搜索路径单一和搜索模板与块运动矢量分布状况适应性不强的不足,为增强搜索的针对性和自适应性,论文提出了基于块运动范围分类并按类分模板展开搜索的混合型块匹配算法,该算法还融合了起始点预测、运动类型判定等技术,最后在VC平台上对其性能进行了验证。结果表明,该算法搜索速度快,精度高,能获得均匀的运动矢量场,利于传输编码。官方参考软件JM采用“遍历”的帧间预测方式,尽管效果最好,但是时间消耗极大。某些快速算法只通过对部分预设模式进行检测来提高选择速度,却由于选择原则过于粗糙,导致编码性能严重下降。为了兼顾编码质量和编码速度,论文提出了模式分组提前终止的快速模式选择算法。该算法基于视频序列特征和模式之间的相关性,确定出当前块所在的模式组,从该组内选出最佳模式,从而减少计算冗余,加快编码速度。实验表明,与目前的编码标准算法相比,本算法在峰值信噪比和码率相近的条件下,编码速度有很大程度的提高,有利于H.264/AVC标准的实用化。