H.264/AVC是ITU-T VCEG和ISO/IEC MPEG联合制定的视频压缩标准，目前被广泛应用于视频播放与通信中，它和正在制定中的下一代视频编码标准HEVC (High Efficiency Video Coding)均使用了帧间和帧内编码帧作为其主要的帧类型。由于当前帧内编码技术采用了多种方向预测、可变块划分、率失真优化（Rate Distortion Optimization, RDO）全搜索算法等技术，使得在编码端进行预测方向选择时运算复杂度较高，限制了终端设备在某些场合下对视频的采集。同时，由于帧内编码帧仅仅利用了图像相邻像素的空域相关性，压缩率相对较低，不利于视频的实时传输和超高清应用。因此，研究如何有效降低编码端计算复杂度并提高编码性能具有十分重要的意义。针对上述问题，本文主要以H.264/AVC为研究对象，系统研究了H.264提供的RDO全搜索算法以及经典的帧内预测快速算法，并在此基础上提出了一种基于纹理相似度判断的帧内预测快速算法。主要工作和贡献包括以下方面：1.归纳总结了视频编解码的技术背景、应用领域和研究现状，并深入研究了帧内编码技术中存在的问题，为本文的研究指明了方向。对H.264/AVC的编解码原理以及关键技术进行了细致研究，包括H.264的编解码器工作框架，帧内预测、帧间预测、变换和量化、熵编码等关键技术。2.系统研究了RDO全搜索算法以及几种经典的帧内预测快速算法，并在此基础上提出了基于纹理相似度判断的帧内预测快速算法，该算法基于帧内预测所占模式比重的统计结果，对用于预测的参考像素进行相似度检测，当参考像素相似度高时，直接使用平均模式进行预测；否则就在竖直与水平模式中选择一个较优预测模式，进而对该较优预测模式及其相邻模式进行RDO计算，部分省略了用于传输预测模式的比特数并减少了用于率失真优化所需的计算量，降低了码率和计算复杂度。3.结合H.264/AVC的参考模型JM16.1使用VC++6.0实现所提算法并验证改进算法的有效性。实验结果表明，本文所提出的算法在PSNR (Peak Signal to Noise Ratio)值基本不变的条件下，相对于RDO全搜索算法，不但能够减少平均32.4%的编码时间，而且能使码率降低平均1.47%，具有明显的实用价值。