本文基于H.264/AVC视频编码标准,重点研究H.264标准内高效码率转码和H.263到H.264标准间高效转码的关键技术。首先,针对H.264/AVC标准内码率转码,通过分析H.264/AVC率失真优化算法和级联全解全编转码结构,本文提出了基于率失真的快速模式选择算法,通过充分利用参考帧的图像信息和解码宏块的运动矢量、编码类型和残差等信息,估计宏块失真来直接选择宏块模式,并据此提出了高效码率转码结构。实验结果表明,与级联全解全编转码相比,本文提出的算法能够大大简化编码器的运算复杂度,编码时间减少90%且PSNR下降小于0.5dB,对实时多媒体传输及其它数据传输有着重要意义。其次,针对目前实时视频通信中H.263仍然应用较多,本文还重点研究了H.263到H.264标准间的高效转码算法。针对两种标准的转换,分别从码率转码、空间分辨率2:1下采样转码、时间分辨率转码和混合转码四个方面进行了研究。本文提出了H.263宏块模式、运动矢量、CBP、COD等相关信息复用的策略,并在此基础上提出了宏块模式快速判决算法;对于复杂度比较高的P8x8模式判决,采用了提前终止判决的策略;对于分辨率和帧率降低转码还提出了相应的运动矢量合成、细化和重建算法;最后结合混合转码提出了H.263到H.264标准间的高效转码整体框架。实验结果表明,在相同转码参数配置下,与级联转码器相比该高效转码算法具有稳定的率失真性能,能够很好的保证视频质量,PSNR下降小于0.8dB,同时转换编码速度提高25%~45%,极大的提高了转码器的转码能力,可用于实际视频转码系统中。