H.264/AVC是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（运动图像编码专家组）的联合视频组(JVT: Joint Video Team)开发的数字视频编码标准。H.264使用了大量的新技术，使得其编码效率相比于以往的视频编码标准有大幅提高。但是，采用这些技术提高编码效率的同时，H.264编码的复杂度也急剧增加。这限制了H.264在一些计算能力有限或者实时性要求高的系统中的应用。因此需要设计低复杂度的编码算法来适应这些特殊场合下的应用。在H.264编码过程中，复杂度最高、耗时最长的步骤是模式选择部分。H.264采用优化率失真代价函数的方法来判断最佳编码模式。对帧内模式的选择需要进行592次率失真代价的计算；对帧间模式的选择还涉及到运动搜索、运动补偿、变换、量化、编码等步骤。模式选择占用了总编码时间绝大部分。因此，优化模式选择环节有着重要的意义，对编码性能的提升也最为显著。
　　 本文首先研究了H.264/AVC编码器的基本结构以及其中使用的关键技术。之后着重分析编码中的模式选择部分，包括模式选择的依据----率失真代价优化以及H.264参考代码中的三种模式下的模式选择方法。然后研究了H.264快速模式选择的基本思想，包括近似代价函数、筛选候选编码模式以及模式选择提前结束。接着对一篇参考文献中的快速模式选择算法进行细致研究并软件实现。通过对实验结果进行统计分析，指出该算法中存在的不足。针对参考算法中的三个不足，本文提出了对应的三个方法对其进行改进，包括使用宏块级自适应的阈值对部分模式进行优先判断、优化模式分组策略、使用亮度残差块的信息进行模式判断。在此基础上提出优化后的快速模式选择算法----基于自适应阈值的快速模式选择算法。实验结果表明，本文提出的快速算法在PSNR和编码时间与参考算法接近的情况下能够有效降低比特率，从而提升编码性能。