ITU-TH.264/MPEG-4 Part 10 AVC(简称H.264)是最新的视频编码国际标准,由ISO/IEC的运动图像专家组MPEG和ITU-T的视频编码专家组VCEG组成的联合视频小组JVT共同开发而成。H.264标准中包含了很多先进的视频压缩编码方法,与以前的视频编码标准相比具有明显的进步。在相同视觉感知质量的情况下,H.264的编码效率比H.263提高了50%左右,并且有更好的网络友好性。然而,高编码压缩率是以很高的计算复杂度为代价的,H.264标准的计算复杂度约为H.263的3倍,而帧间运动估计和环路滤波是运算复杂度最高的两个部分,所以在实际应用中必须对算法进行优化以提高其编码效率。本文针对以上两部分进行研究,主要工作和创新如下:(1)针对H.264/AVC去块效应滤波器的硬件原型进行了设计,所设计结构可以大大降低硬件系统的处理周期。在所设计的结构中采用了以下4个关键技术:滤波边界顺序调整、存储单元分配、滤波器架构和双转置寄存器组来提高系统的并行处理能力。仿真结果表明,文中所提出的架构,仅需要288个时钟周期即可实现一个16×1 6宏块的滤波。滤波器模块只占用16.3 k逻辑门和640byte的blockRAM,具有很高的时间-面积效率。(2)在分析目前运动估计中分块模式选择和方向搜索两部分的算法后,提出一种基于运动矢量集合的快速运动估计算法。该算法利用矢量集合中元素的分布特性,对运动估计中的分块模式进行判断并精确定位出方向搜索的初始预测运动矢量。该算法简单、有效,通过精确定位的初始运动矢量,在缩短搜索范围和保证搜索精度两方面比其他算法有明显的改善,并从整体上优化了运动估计算法。实验结果表明,算法在保证图像质量的前提下使计算复杂度有很大的改进,并为以后运动估计算法的研究提供了一些参考。方向可延伸快速搜索是一种高效搜索算法,但对图像运动剧烈部分搜索精度不高。对此在本章第四节提出一种扩展的方向可延伸快速搜索算法(EDES)。算法采用可变方向搜索,根据图像序列的运动特性,自适应选择模板确定搜索方向个数,并沿线性方向引入准小菱形模板进行匹配,实现最佳匹配。实验结果表明,EDES在不明显降低编码速率和PSNR的情况下可有效提高搜索精度,缩短码长,实现进一步压缩。