随着互联网技术以及移动端设备的不断发展,以图像/视频为主要载体的多媒体应用层出不穷,如数字电视,互联网视频,虚拟现实,视频直播等。这些多媒体应用已经逐渐成为人们生活中不可或缺的部分。海量的视频对于视频数据的存储和传输提出了更大的挑战。为了高效地对视频进行存储和传输,视频编码技术在其中起着重要作用,这也使得对视频编码技术的研究一直是学术界和工业界的热点。为了更加高效地对日益普及的高清和超高清视频进行压缩,新一代国际视频编码标准HEVC(High Efficiency Video Coding)于2013年正式发布,与上一代国际视频编码标准H.264/AVC相比,在相同的主观质量下,能进一步获得50%左右的码率节省,大大提升了视频压缩的性能。2014年,国内AVS工作组发布了我国第二代视频编码标准AVS2,主要是针对超高清视频。AVS2能够获得与HEVC相近的编码性能。然而,由于这些新的编码标准中都采用了更加灵活的编码单元划分结构,更加精细的帧内预测模式等技术使得编码性能得到较大提升的同时也带来了较高的编码复杂度。因此,如何有效地对编码器进行优化从而降低编码复杂度对实际应用显得至关重要。同时,随着高画质视频的逐步普及,未来的视频压缩标准需要处理数据量更加庞大的视频,因此,在现有视频编码标准的基础上继续提高视频压缩效率仍然具有很重要的意义。帧内编码作为视频编码标准中的核心模块之一,如何高效地对其进行优化对整个视频编码具有重要的作用。本文从降低帧内编码的复杂度以及提升帧内编码性能等角度展开深入的研究。具体的研究内容分为以下四个部分:第一,本文提出了快速的帧内模式和编码单元决策方法用于降低帧内编码的复杂度。目前最新的视频编码标准中的帧内编码引入了大量的预测模式(HEVC中引入35个模式,AVS2中引入33个模式),同时编码单元都采用了基于四叉树的划分结构。由于最佳的预测模式和编码单元划分是在编码端通过率失真优化过程得到,这将大大增加帧内编码的复杂度。为了在不影响压缩性能的条件下降低最新标准中帧内编码的复杂度,本文提出了快速帧内模式决策方法和快速编码单元划分决策方法。在快速帧内模式决策方法中,基于平均梯度的方法被提出来用于减少需要进行粗模式选择和率失真优化过程的模式的数量,从而有效地降低帧内模式决策的复杂度。在快速编码单元划分决策方法中,首先,纹理平滑的编码块被提前检测出来,直接选择较大的编码单元进行编码;其次,对于非平滑的编码块,本文利用加权的线性SVM进行编码单元的提前划分决策;最后,对于没有被提前划分的编码单元,另一个加权的线性SVM被用来进行编码单元提前终止的决策。实验结果表明,在全帧内编码配置条件下,本文提出的方法相比于HEVC的参考软件HM-14.0,可以减少50%以上的编码时间,同时对压缩性能的改变可以忽略。第二,本文提出了基于局部和非局部相关性的混合帧内预测方法用于提升帧内预测的性能。现有视频编码标准中的方向预测模式能够对具有方向性纹理的块进行较好的预测,planar模式(或者plane模式)和DC模式用于对平滑块进行预测。然而,对于更加复杂的编码块,现有标准中的帧内预测将不再高效。为了提高现有视频编码标准中的帧内预测的编码效率和为下一代视频编码标准的制定做技术储备,基于对复杂编码块的分析,本文提出了基于局部和非局部相关性的混合帧内预测方法,该方法包括三个部分:1)自适应的模板匹配预测方法,利用非局部相关性用于复杂纹理块的预测;2)联合局部和非局部相关性的预测方法,用于对既有复杂纹理又有较强方向纹理的块进行预测;3)基于邻近模式相结合的预测方法,利用更多的局部相关性用于对模糊的块进行预测。实验结果表明,与HEVC的参考软件HM-14.0相比,在全帧内编码配置下,本文提出的混合帧内预测平均能够获得3%左右的码率降低。第三,本文提出了自适应的色度预测方法用于提升帧内色度预测的性能。目前主流视频编码器的输入视频格式为YCb Cr420。为了去除Y,Cb和Cr这三个信道之间的冗余,线性模型(Linear Model,LM)模式被提出来利用已经编码重建的亮度块Y来预测待编码的色度块Cb和Cr。考虑到LM模式中参数估计存在的一些不足,本文提出了自适应的模板选择方法用于提高LM中参数估计的准确性,从而提升色度Cb和Cr的预测性能。考虑到LM模式没有利用色度分量之间的相关性,本文提出了自适应的Cr预测方法用于进一步提升Cr分量的预测性能。具体来说,在进行Cr预测时,本文不仅利用已重建的Y和Cr之间的相关性,同时也考虑了已重建的Cb和Cr之间的相关性。实验结果表明,本文提出的改进方法相比于LM在性能上有了进一步的提升,同时提出方法对编解码复杂度的影响可以忽略。第四,本文提出了信号依赖的自适应帧内变换用于提升帧内变换的性能。传统视频编码中采用的都是信号不依赖的变换。例如,DCT和DST被用于HEVC帧内预测之后残差的变换,AVS2则主要采用了DCT变换。虽然固定变换DCT/DST在特定条件下已经被证明近似于最优的KLT变换,然而它们是信号不依赖的变换,仍然不能够很有效地适应自然视频图像动态波动的特性。针对当前固定变换的这种局限性,本文提出了基于奇异值分解(SVD)的信号依赖的帧内变换方法。提出的方法利用基于预测块生成的合成块与残差块之间的结构相似性,对合成块进行SVD得到一对变换矩阵,然后将该变换矩阵用于对应的残差块的变换中。因此,提出的变换对残差块具有一定的自适应性。此外,本文进一步将提出的自适应变换扩展到基于模板匹配的预测残差中,用于提升模板匹配中残差变换的性能。实验结果表明,本文提出的方法能够提升现有视频编码标准中帧内变换性能,从而提升了帧内编码的性能。