H.264/AVC是ITU-T VCEG和ISO/IEC MPEG联合制定的最新的视频压缩标准。帧内预测是H.264/AVC视频编码标准的一个重要组成部分。标准中提供了多种预测模式,在进行帧内预测时,将利用率失真代价对各种预测模式进行预测,选择率失真代价最小的预测模式作为最佳预测模式。由于预测模式的多样性和计算率失真代价本身的算法复杂度,使帧内预测算法成为视频编码过程中比较耗时的过程之一。本文在分析H.264/AVC参考软件原有算法的基础上,对帧内预测模式和算法进行了研究,提出了一种基于纹理分析的快速帧内预测算法。本文主要在以下三个方面作了研究:1、引入灰度共生矩阵及其特征量,对宏块的平坦程度和宏块的纹理特征进行判定。按照宏块的平坦程度将宏块划分为平坦宏块和非平坦宏块,这样可以确定宏块用哪一种预测方式进行预测;按照宏块的纹理特征将宏块划分为全局平坦宏块和具有某一方向纹理的宏块,根据这一特性可以排除可能性小的预测模式,缩小了候选预测模式范围。在利用灰度共生矩阵的逆差矩对宏块的纹理特征进行判定时,为了更准确地反映不同纹理特征的宏块在逆差矩上的差异,对逆差矩的计算方法进行了改进,取得了较好的效果。2、为了进一步降低Intra₄×4预测模式的复杂度,对8×8子块内4×4子块最佳预测模式的相关性进行了研究。选择纹理比较复杂、较多采用Intra₄×4模式进行帧内预测的视频序列,利用全搜索算法获取所有4×4子块的最佳预测模式,然后对同一8×8子块内各4×4子块最佳预测模式进行统计分析,实验结果表明在同一8×8子块内各4×4子块最佳预测模式是有很强的相关性的。根据这一结论,可以根据8×8子块的纹理特性确定其中各4×4子块的候选预测模式,这样不仅减少了候选预测模式的个数,而且四个4×4子块的候选预测模式一次确定,大大降低了算法的复杂度。3、基于JM13.2实现了基于纹理分析的快速算法,并与全搜索算法的实验结果进行了比较。实验结果表明本算法在信噪比和码率变化极小的情况下,编码速度有显著提高。