随着互联网的飞速发展,视频数据量呈指数级增长,给存储和传输造成巨大压力,因此迫切需要对视频进行更高效的压缩。视频数据中主要为时间冗余,帧间预测是去除时间冗余的核心工具。因此,如何高效地进行帧间预测是提升视频编码效率的关键。经过四十多年的发展,帧间预测技术取得显著进步,但随着研究的深入,传统帧间预测的发展也逐渐遇到性能瓶颈,这主要有两方面原因:第一,传统帧间预测模块是手工设计和优化的,预测能力有限;第二,帧间预测模块通常单独优化,导致很难达到整体最优编码性能。因此,迫切需要新工具新思路来突破帧间预测的发展瓶颈。近年来,深度学习在图像视频处理领域取得巨大成功,这主要得益于深度学习的两个优点:第一,深度网络可以拟合复杂的非线性映射关系,表达能力强;第二,借助于数值优化算法,深度网络很容易进行联合优化。可以看出,深度学习恰好可以弥补传统帧间预测的缺点。基于上述分析,本文将研究如何利用深度学习来解决帧间预测中的难题。本文提出利用深度学习先增强,再生成,最后结合残差编码联合优化的研究思路,从浅到深、依次递进地解决传统帧间预测中的难题。首先,对于传统帧间预测可以处理得较好的部分,如简单运动,本文提出利用深度网络在传统预测基础上进行增强,来进一步提升预测准确性。其次,对于传统帧间预测处理不好的部分,如复杂运动,本文提出利用深度网络直接生成帧间预测,打破传统平移运动模型的局限,获得更准确的预测信号。最后,本文提出将帧间预测与残差编码结合,以深度网络为工具进行联合优化,来提升整体编码性能。除了上述技术研究外,本文还从数学优化角度对帧间预测编码进行总结和分析,探讨帧间预测编码技术的发展潜力。论文的主要工作及贡献如下:（1）对于帧间预测增强,本文提出了一种基于卷积网络的帧间预测增强方法。首先,本文提出了一种时域相关的帧间预测增强方案,利用训练的卷积神经网络直接对运动补偿后的帧间预测信号进行增强,使其接近原始信号。在此基础上,本文不仅利用时间相关性而且利用空间相关性,提出一种时空相关的帧间预测增强方案,结合相邻重建区域来进一步增强预测信号。最后,将两种方案集成进视频编码框架中。实验结果表明所提方法有效地提高了视频压缩效率。（2）对于帧间预测生成,本文提出了一种基于深度网络的参考帧对齐外插预测方法。本文在基于深度网络的帧外插预测技术中,引入了基于运动估计和运动补偿的多帧对齐方案,这样可以有效地去除参考帧间的平动,使外插网络专注于处理高阶运动,从而提高网络预测精度。然后,将对齐外插预测技术集成进编码框架中。实验结果证明,所提方法可以有效处理复杂运动,进而显著提升视频编码性能。（3）对于帧间预测结合残差编码,本文提出了一种基于深度学习和模式选择的混合优化视频编码方法。在结构上,整个框架（帧间预测和残差编码）均由深度网络构成,同时在框架中添加多种帧间预测模式。在优化方法上,离线阶段,使用大量数据,通过数值算法进行联合优化,得到预训练的深度网络模型;在线阶段,针对待编码视频,通过搜索优化自适应地得到较优的模式,并通过数值优化得到该模式的参数。实验结果证明,所提混合优化方法性能与具有相似帧间预测模式集的H.265（HM）相当,优于现有的纯深度学习视频编码方案。（4）本文对视频帧间预测编码进行了重新思考。视频编码本质上是一个关于码率和失真的优化问题,本文从率失真优化的角度进行分析发现,传统编码框架下的帧间预测本质上代表着离散优化求解,深度学习编码框架下的帧间预测代表着连续优化求解。基于此,本文提出了一种全新的混合优化编码策略,将帧间预测编码视为离散和连续优化问题的混合,使用搜索和数值算法来混合求解。本文的实验结果证明了两种优化混合的有效性。本文的分析为现有帧间预测编码技术提供了一定的原理解释,同时也为未来基于深度学习的帧间预测编码发展提供了新思路。