为了解决高清及超高清视频急剧增长的数据率给网络传输带来的冲击,JCT-VC(Joint Collaborative Team on Video Coding)工作组制定了具有更高的压缩效率的新一代视频压缩标准HEVC(High Efficiency Video Coding)。HEVC基于传统的混合视频编码框架,对该框架的各个模块进行了技术创新,包括灵活划分方式、更加精细的帧内预测、全新的Merge模式、基于竞争的运动矢量预测、基于离散余弦变换的亚像素插值、自适应样本偏置、Tile和追赶编码并行处理技术等。这些新的技术使得HEVC编码效率比H.264/AVC提高了一倍。但是,巨大而灵活的编码参数集的优化选择,也使得HEVC的编码器的复杂度急剧增加,这阻碍了HEVC标准的应用与推广。因此,研究HEVC的快速、高效的编码优化算法至关重要。本文在介绍了视频压缩技术的背景以及视频压缩标准的历史后,对HEVC的特征进行了概括。然后,通过对HEVC关键技术和关键模块的深入研究和分析,阐明了HEVC中对率失真性能和计算复杂度两个方面影响最大的热点问题,指明了HEVC编码优化的研究方向。随后,本文对最关键的多参考帧的优化,灵活划分(包括编码单元树的划分、变换单元树的划分和预测单元的划分),进行了深入研究。HEVC中的多参考帧技术以及灵活的数据划分方式,大幅度增加了运动估计的复杂度,本文深入分析了不同编码单元层次的预测单元之间,以及相邻预测单元之间,参考索引的相关性,设计出简单高效的参考帧选择算法,降低了HEVC编码器的复杂度。对于HEVC中最复杂的编码单元和变换单元的划分问题,提出了基于贝叶斯分类器的编码单元、变换单元快速选择算法。将编码单元和变换单元的划分建模为分类问题,通过直接分析输入视频数据的特征,用简单而高效的贝叶斯分类准则进行划分的快速预测,从而避免了基于率失真优化的遍历搜索算法,降低了编码器的计算复杂度。为了挖掘与编码单元划分密切相关的输入图像数据特征,以互信息为评价标准,优化选择最优特征子集。基于支持向量分类器的编码单元快速选择算法,进一步提高了编码单元分类的准确性和稳定性。将率失真变化作为权重系数引入支持向量机的训练过程中,使支持向量分类器更加注重率失真性能变化较大的编码单元,防止编码单元划分的提前终止引入过大的率失真损失。为了进一步提分类器的准确性和推广性,基于F-Score的封装式特征选择算法对大量的候选特征进行了优化选择。实验结果表明,基于支持向量分类器的编码单元划分快速选择算法,可以进一步减少率失真性能的损失,并且具有非常强的稳定性。预测单元的优化也是HEVC编码器中非常重要但又复杂的模块,本文将预测单元的多种划分方式分成正方形划分和矩形划分两类,用支持向量分类器进行预测,通过设计和选择高效的特征,快速准确地解决了预测单元划分问题。最后,对本文所研究的内容进行了总结,并分析了该领域未来的研究热点和发展方向。