本文从介绍视频编码技术和国际标准的发展开始,对最新的国际视频编码标准H.264/AVC进行详细研究,对其应用前景和编码原理做出总结,并详细阐述其与以往编码标准不同的新的关键技术。接着,对其中的两项关键技术帧间编码和帧内编码分别进行具体介绍,并研究了在H.264/AVC编码器上通过率失真优化（RDO）策略实现模式决策的过程,分析这种策略的优缺点,并针对其编码算法复杂度高,编码时间长的缺点加以改进,提出了编码模式的树状分类判决方案（TDS）。首先,在帧内模式下,针对16×16宏块在纹理特征丰富的区域细分为4×4像素块并有9种预测选项进行编码预测,并占用很大的编码时间的问题,提出了先根据量化系数QP和图像纹理特征初步确定采用16×16块或是4×4块,然后对4×4块内部的9种预测选项进行较为简单的SATD运算进行粗选,确定三个可能性最大的待选模式集,最后通过RDO策略进行判定的方案。实验结果证明此算法提高约70%的编码速度,并只增加了很少的比特率。接着,在帧间模式下,针对SKIP模式的独立性和占用视频流较多的情况,提出了先进行SKIP模式的判决方案,根据SKIP模式的特点提出4点判决准则,较快的确定了SKIP模式的编码预测。接着结合存在帧内模式编码的情况,根据平均比特率AR和平均边界误差ABE的关系,快速确定是否采用帧内编码模式。然后,在剩余的模式选项中通过对图像纹理特征的分析,提出通过图像直方图的二阶距进行阈值判决的测量方案,用来对运动补偿的宏块模式{M₁6×16,M₁6×8,M₈×16}和子宏块模式{M₈×8,M₈×4,M₄×8,M₄×4}进行划分,最后对已确定的模式集通过RDO策略计算最优模式。实验结果证明,此算法提高了约50%的编码时间,比特率却只有很少增加。整个树状预测模式分类决策算法减少了超过一半的编码时间,极大的满足了系统实时性的要求。