H.264作为最新的视频编码标准,支持从低带宽、高误码率的无线移动视频通信到高码率、低延迟的视频广播及在线流媒体等多种应用,与以前的视频编码标准H.261、H.263和MPEG-1、MPEG-2、MPEG-4相比,使用了很多新的编码特性,比如多参考帧预测、多尺寸编码块模式、1／4像素精度运动矢量、整数变换、去方块滤波等,在相同的解码图像质量的下,码率降低了一半以上。H.264加入了许多新的元素,具有优秀的压缩性能和良好的网络亲和性,但同时也带来了编码的高复杂度,耗时较大,严重阻碍实时视频业务的发展。因此,根据实际需要对视频编码算法进行研究改进,具有重要的理论和实用价值。帧内预测模式选择算法作为H.264视频编码关键技术之一,采用了RDO技术,对宏块中的两种亮度块及色度块的预测模式进行选择,需要经历一系列的耗时操作,极大增加了编码时间。优化帧内预测模式选择算法,能有效的降低Ⅰ帧的编码时间,对降低整个编码时间产生重要的影响。首先,介绍了H.264原理及其关键技术。其次,对帧内预测模式选择算法进行深入的研究,提出了快速算法：对色度模式采用SATD代价函数选择最佳的预测模式,对4x4帧内亮度同样采用了SATD代价函数,将9种预测模式减少到3或4种,然后采用RDO代价函数对候选模式进行最佳模式选择,在结合提前退出策略。实验结果表明,全Ⅰ帧编码,优化后的算法比原高复杂度的编码时间降低了78%左右,峰值信噪比和码率变化不大,具有重要的理论和实用价值。