H.264(MPEG-4Part10)是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)组成的联合视频组(JVT：jointvideoteam)开发的新一代视频编码标准。其采用了多项新技术，如多模式预测、多参考帧运动估计、整数变换、CABAC、循环去块滤波等，使得H.264具有很高编码效率。在相同的重建图像质量下，比H.263或MPEG-4节省50％左右的码率。 除了高编码效率外，H.264标准中引入了网络适配层对码流进行封装，封装后的码流对网络的适应性强。此外，针对传输中的丢包和误比特现象，H.264提供了更多更好的抗误码策略。 基于上述优点，H.264有可能在广播、存储媒体(CD/DVD)以及多媒体通信等方面取代以前的标准而成为统一的标准。 但H.264编码效率的提高，是以高计算复杂度为代价换来的，其编码复杂度超出H.263/MPEG-4十倍以上。以现有平台的处理能力，根本无法做到H.264的实时编码。所以，必须对编码器进行优化，减小计算复杂度。 针对H.264的编码特点，通用的算法优化有快速运动估计、多参考帧选择、快速帧内预测模式选择、CABAC优化、去块滤波器优化等方法。针对不同的实现平台，平台相关优化有程序结构优化、指令级优化等。 本论文主要研究了H.264帧内预测方法，对其预测效率、复杂度进行了深入分析。在此基础上提出了一种帧内模式快速选择算法。首先根据帧间编码信息对帧内预测模式进行有效性选择。其次，采用亮色分离方案进行模式选择。最后，对INTRA-4x4模式进行选择。实验结果显示，与原参考软件JM7.2相比，在信噪比基本不变以及平均码率增加不超过1％的条件下，编码时间比原来减少28.53％。 另外，本文的研究工作还包括对JM模型程序结构的优化。优化好的编码器，符合MainProfile规范，程序结构简单、清晰，不含有冗余模块，编码结果完全与原JM相同。此结构不仅易于算法，能够作为算法验证平台，而且在该结构上实现的算法能够较方便地移植到DSP平台上，对应用开发具有一定的实际意义。