2003年由国际电信联盟和国际标准化组织联合制定的H.264／AVC编码标准正式颁布。和以往编码标准相比，H.264／AVC编码效率获得了大幅提高，具有更好的网络适应性和容错特性。H.264／AVC的应用范围贯穿无线视频通信，基于IP网的流媒体服务，激光视盘存储，高清晰度电视，超高清数字电影等等，几乎涵盖了所有的视频通信领域。这种新型的视频编码标准获得了业界广泛的关注，相关的研究和产品层出不穷。分像素运动补偿技术是H.264／AVC压缩性能提升的主要来源，但另一方面，编解码的计算和访存复杂度也大幅度增加。本文针对分像素运动补偿模块在复杂度优化，编码性能优化和VLSI体系结构设计三个方面进行了深入研究，取得了以下研究结果： (1)低解码复杂度分像素滤波器设计：H.264／AVC标准采用了分像素运动补偿技术，运动矢量的精度可以达到四分之一像素，分像素位置的亮度值，通过二维可分离的六抽头维纳滤波器和线性平均滤波器获得。与采用双线性滤波器和二分之一像素运动矢量精度模式相比，编码效率获得了近20％的提升。但另一方面，编解码的计算和访存复杂度也大幅度增加。尤其在高清格式视频的实时解码中，数据的访问量和计算量庞大，解码延迟和功耗主要源于运动补偿模块的存储器访问，高精度运动矢量和长抽头滤波器进一步加重了运动补偿模块的访存和计算负担，使分像素运动补偿模块成为实时解码的瓶颈问题。 本文在分析了高清视频信号的自相关特征的基础上，提出了一种基于两步四抽头滤波器的分像素插值技术。该方案结合利用三次卷积滤波器和三次B样条器完成高清视频序列的四分之一像素的插值过程，与H.264的插值滤波方法相比，取得了类似的编码性能，在解码端，访存复杂度降低了10％，计算复杂度降低了40％。该方法于2003年10月被国内制定的视频编码标准AVS1.0采纳。 (2)帧级自适应滤波器设计：由于视频信号采集过程和分像素插值滤波器的非理想低通特性，使得经过插值滤波放大的参考图像中存在高频分量的混叠，我们称这种混叠为滤波噪声；其次，参考图像是源图像经过编解码过程后的重建图像，编码过程中会引入量化噪声；最后，在进行运动估计的过程中，由于有限的运动矢量精度，运动矢量场的不连续性以及前面提到的滤波噪声和量化噪声的干扰，会产生运动矢量的偏差，我们称这这种偏差为运动矢量噪声。由于这三种噪声的存在，会影响运动补偿预测的准确性，进而降低编码效率。 本文首先对这三种噪声对运动补偿预测过程的影响在时域和频域进行了分析，然后对运动补偿预测残差进行严格的数学建模，将这三种噪声源引入残差模型中，在帧一级通过自适应调整插值滤波器系数来最小化运动补偿预测的残差能量，提高编码效率。实验结果表明：在编码复杂度和编码延迟的适度增加的条件下，本文提出的自适应滤波方法可以有效的抑制运动矢量噪声，量化噪声和滤波噪声，提高运动补偿预测的效率，在