H.264编码标准是由联合视频工作组JVT(JointVideoTeam)于2003年3月正式提出的，它支持从无线移动、视频通信到视频广播及在线流媒体等多种应用，因此日益受到业界的关注。H.264的编码框架和以前的H.26x和MPEG标准相似，但在很多环节上采用了新技术以获得更高的编码效率。由于编码效率的提高是以增加复杂度为代价的，因此如何减少计算复杂度对H.264标准的实时应用尤为重要。实验数据表明，对于H.264的参考编码器来说，运动估计、基于率失真优化的模式选择以及变换和量化模块的计算复杂度最高。因此本文对这三个方面进行研究以优化编码算法的复杂度。 对于编码器来说变换和量化模块是编码过程的重要环节，由于中低码率视频运动相对平缓，运动搜索的计算量较小，编码器用于变换和量化的计算量比例增大，因此降低这一部分的计算量是很有必要的。本文首先分析了H.264的整数变换和量化的原理，在分析H.263标准中全零块判别算法的基础上，给出判别闽值与误判和漏判的关系，并提出了适用于H.264标准的全零块判别准则，以及两个判别公式。实验结果表明，本文的判别公式能够随着量化参数自适应的调整，在无误判的前提下，与参考编码器相比，当量化参数大于36后，在头肩像序列中两种方法都可以节省51.05％以上的运算量；在运动剧烈序列中量化参数大于40后两种方法也都能节省34.71％以上的运算量。而且随着量化参数的增大，全零块的比例逐渐增多，本文算法能节省更多运算量。另外，研究表明，对于不同的物体或者背景，人眼的敏感度也不同。因此，利用人眼的视觉系统特性，根据视觉敏感区和非敏感区，以及二者间的边缘区对全零块判别公式进行了改进，对不同的应用给予不同的判别值，实验证明，这一方法在无误判的前提下，与没有视觉控制的全零块判别方法相比，正确判断率提高了1.85％～12.99％。 帧内预测技术是H.264不同与以往标准的特点之一。本文在分析帧内预测原理以及预测模式选择的基础上，提出了一种新的帧内预测模式选择算法。算法通过三个原则来加快编码速度，一是相邻宏块预测模式相关性原则，二是预测模式尺寸预先选择原则，三是提前中止原则。编码器根据宏块在图像中的位置以及相邻已编码宏块的预测模式来预先判别待编码宏块的预测模式。若预测模式不符合提前退出原则，就对编码块的像素进行边缘提取，根据边缘方向选择相应的预测模式，在搜索过程中同样遵循提前退出原则。实验结果表明，与全搜索算法相比，在编码质量相近的情况下，能够节省51.01％～72.91％的编码时间，与单纯的边缘检测的算法FIMDA相比，能够节省15.63％～27.31％的编码时间。 H.264的多预测模式选择技术提高了编码效率和率失真性能，但也使得编码的复杂度增大。参考编码器的全搜索算法是通过穷尽所有的预测模式，从中选择代价函数值最小的作为最优预测模式。本文在研究H.264帧间模式选择过程的基础上，分析了多预测模式帧间预测的复杂度，介绍了帧间模式选择算法的研究现状，并提出了一种基于全零块分布的帧间预测模式选择算法。算法通过宏块中全零子块的分布，各子块SAD值的大小和运动向量大小作为判据来缩小待选模式集(包括帧内预测模式和帧间预测模式)，提高编码速度。实验数据表明，与全搜索算法相比，本算法在编码质量接近的同时，能够提高1.373～1.931倍的编码速度。 运动估计是占用整个编码器运算时间最长的部分，本文在分析H.264运动估计原理基础上，对运动搜索模式与视频序列之间的关系进行研究，并提出了一种基于上下文的自适应运动搜索算法。算法通过分析序列编码结果，根据已编码帧的预测模式分布和序列的运动信息，对运动特性不同的宏块选择相应的运动搜索方案，并结合提前退出策略以及分层的搜索模式，既加快了搜索速度，又保证了搜索的质量。实验结果表明，算法在编码质量接近全搜索算法的基础上，平均搜索速度是全搜索算法的89.1倍。与一些经典的搜索算法相比，本文算法在速度和质量上都要优于传统的钻石搜索算法，新三步法，六边形搜索算法，而且适用于不同运动特性的视频序列。 统计结果表明，多参考帧选择技术提高了有暴露背景或者新增景物区域的编码效率，但是在多数情况下，视频编码性能的提升不大，只有无法补偿图像区域才可能用到多参考帧预测。因此，本文提出了一种基于上下文的多参考帧选择算法，利用宏块的运动特性决定当前宏块搜索的最大参考帧数目，通过分析当前参考帧预测的结果，动态的判断是否需要进行下一参考帧预测。从而对图像中不可补偿区域可以进行多参考帧搜索保证图像的编码效率，而对不需要多帧参考的宏块则节省了编码时间。实验结果表明，在编码质量接近全搜索算法的基础上，本算法搜索速度为全搜索算法的2.10～2.65倍。