H.264/AVC是ITU-T VCEG和ISO/IEC MPEG联合共同制定的国际视频编解码新标准,新一代视频编解码标准以较高的编码效率和网络的友好性受到人们的广泛关注。H.264/AVC集中了近些年来视频编解码领域内一系列的最新的科学技术成果,所采用的新技术包括：空间域内的多种模式帧内预测,1/4像素精度的运动估计,整数DCT变换量化,多参考帧运动补偿,自适应去块效应滤波,基于内容的CABAC熵编码等。新一代的视频编码标准H.264/AVC采用可变块运动估计和率失真优化技术。其中定义了7种不同大小的帧间宏块模式,需要对多种编码模式进行一一遍历,选择编码代价最小的模式来作为最佳的编码模式,这使得计算的复杂度成倍增加。因此,研究H.264/AVC的帧间预测编码模式的快速选择算法,就有着非常重要的积极意义。本文提出一种快速的帧间宏块模式选择算法,该算法实质上分别利用相继帧的差值探测时域平稳的区域,在空域上还采用Sobel算子计算图像的局部边缘信息来探测空域的均匀区域或者活动性很小的区域,对图像各区域采用的宏块编码模式提前进行判定,大大地简化了模式的选择过程。在JM8.6参考软件模型上进行了仿真实验,并对比了优化前后图像的视觉质量,编码时间,PSNR值和信噪比的变化。实验表明在采用新的选择优化算法以后,在视频图像质量基本上不变的情况下,编码器的编码时间大大地减少,运算的复杂度大大降低,提高了视频压缩的编码效率。