相比于H.264/AVC,由ITU-T和ISO/IEC联合提出的新一代视频编码标准HEVC在保有出色的客观编码质量的同时,实现了压缩效率上的巨大提升。这主要是由于HEVC采取了新的编码优化技术,包括CU/PU/TU复合分层编码体系,采样点自适应偏移,环路滤波等等。然而,复杂的编码结构却引入了很大的计算量,使得编码器的计算复杂度严重增加,编码的实时性受到极大挑战。因此,如何在尽可能地不影响编码性能的前提下减少编码复杂度,成为了视频编码领域的研究热点。目前,学者们对于编码复杂度的优化工作多集中于软件编码层面;考虑到硬件编码器的设计,这些优化算法的缺陷在于两个方面:第一,编码复杂度的优化具有不确定性,即最大编码复杂度并未减少;第二,算法利用了相邻编码块之间的相关性进行估计,破坏了编码过程中的并行性。本文致力于解决HEVC帧间预测编码模式的编码复杂度过高的问题。在帧间预测中,CU/PU/TU的组合模式判决是耗时最大的模块。我们的算法从CU层面和PU层面出发来对此模式判决过程进行优化:一,以误差曲面模型拟合为基础,提出一种分像素精度运动估计(FME)快速算法;二,以CNN为基础,提出CU分割模式判决快速算法。本文提出的算法创新点在于:·利用统计数据来分析FME过程的误差分布特点,并使用恰当的函数模型对误差曲面进行拟合,根据函数模型即可直接得到最优四分之一精度运动向量的预测值,达到缩减运动向量搜索数量的目的,实现了编码复杂度与编码质量之间的折中;·充分挖掘图像内在纹理与编码模式之间的联系;引入特定结构的CNN来对非同质块以编码模式为依据进行分类,以减少CU编码候选模式的最大数量,最终使得HEVC帧间编码模式加速了45%,压缩效率损失为BDBR=+2.91%,图像质量损失为BDPSNR=-0.1114dB;·算法没有破坏原有RDO过程中的并行特性,并且可以减少最大编码复杂度,因此能够在软件编码器和硬件编码器平台上应用;与同类的算法相比,我们提出的算法产生的编码性能更优,并且适用范围更广。