为了节约传输带宽、存储空间,视频编码早已成为国内外研究和工业应用的热点之一。至今国际上已制定了一系列的视频编码标准,如MPEG-1/2/4,H.261/H.263等,最近国际上新制定的H.264/AVC视频编码标准以及国内的AVS视频编码标准,虽然其框架与以前的标准类似,但其压缩效率比以往的任何标准都提高了至少一倍以上,这一突破已得到了各研究机构以及多媒体工业界的高度重视,并将引发多媒体产业中一场新的变革。因此对数字视频编码中的关键技术进行深入研究,并根据其机理进行性能优化,具有十分重要的理论与现实意义。本文研究率失真优化技术在实际视频编码中的应用,并将率失真优化编码与码率控制结合起来,从编码的变换量化机制入手,通过分析变换量化的特性,不仅在编码的最底层,即块系数级实现结合率失真优化的优化位分配,提高了视频编码效率,同时在上层对宏块间、图像间的优化位分配以及缓冲区约束条件进行研究,结合率失真模型,提出了缓冲区约束条件下结合率失真优化的码率控制算法,该算法在达到码率控制的同时也能取得较高的编码效率,并保证缓冲区在编解码过程中不发生溢出。本论文主要的创新点包括:[1]结合率失真优化的系数级优化位分配技术本文通过对现有变换量化机制的研究,提出了结合率失真优化的变换系数适应性量化技术,基于率失真优化准则调节变换系数的Deadzone量化区间,实现系数级的优化位分配,该技术不仅能提高编码效率还能改善主观效果。在最近的H.264,AVS等视频编码标准中,整数变换代替了原来的浮点数DCT变换,同时量化过程也表现了新的特性,将独立的量化与变换归一化结合起来。特别是在AVS标准中,变换矩阵为一个近似同模的矩阵,使得变换归一化过程可以只在编码端进行,给系数的优化分配带来了一定的影响,基于对这一整数变换量化方案的深入分析,本文提出了相应的系数优化位分配技术。[2]缓冲区约束条件下的码率控制算法通过对H.264缓冲区操作模型的分析,提出了缓冲区约束条件下的码率控制算法。保证满足缓冲区约束条件是码率控制的重要环节之一,即码率控制应能保证在编码过程中缓冲区不会发生溢出,同时要求编码产生的码流在解码过程中能够保证解码缓冲区也不发生溢出,这需要码率控制在编码过程中能够及时地根据缓冲区状态的反馈调整位分配,以产生能够满足需要的码流。对此本文根据缓冲区操作模型,分别从时间角度和缓冲区充满度的角度剖析缓冲区对码率控制的约束条件,即位分配约束,并根据这一约束条件调控码率控制的位分配过程,从而保证缓冲区既不上溢又不下溢。[3]结合率失真优化的码率控制算法本文提出了结合率失真优化的码率控制算法,将码率控制与率失真优化有机地结合