随着人们对视频质量的要求越来越高,视频编码技术不断地在完善。目前,高效视频编码标准H.265/HEVC已是主流的视频编码标准。相比于H.264/AVC标准,在相同图像质量下,H.265/HEVC标准节省了50%的码率,但是H.265/HEVC标准的编码复杂度提升了数十倍。因此,在H.265/HEVC标准的基础上,难以做到监控等实时应用。帧间预测是视频编解码的重要组成部分之一,主要包括运动估计和模式决策两部分。本文分析了帧间预测过程,针对运动估计和模式决策这两部分分别提出新的快速算法,以达到去除冗余信息和降低计算复杂度的目的。在运动估计部分,对整像素运动估计和分像素运动估计分别进行了研究。在整像素运动估计中,从搜索策略方面提出了新的混合搜索模型,基于率失真代价值设置阈值来控制搜索模型之间的切换,从而更高效地搜索最优整像素点。在视频质量几乎没有变化的情况下,所提出的算法的编码时间比参考算法降低了8.58%。在分像素运动估计中,从搜索策略和率失真代价的计算两方面,提出新的快速搜索算法。引入次优1/2像素点的概念,通过最优1/2像素点和次优1/2数像素点确定最优1/4像素点的搜索范围。所提出的算法减少搜索点的个数,去除时间冗余,减少编码时间。相比于参考算法,所提出的算法虽然码率增加了0.51%,但编码时间降低了26.30%。在帧间预测单元的模式决策部分,从率失真代价方面,提出了基于率失真代价的提前终止算法。提前终止算法有两层终止含义,第一层终止,是指SKIP模式的判定,若满足条件直接终止算法;第二层终止,是指通过阈值来判断能否直接终止算法,不用遍历多余的模式。在视频质量基本没有变化的前提下,编码时间节省了30.11%。在模式决策过程中,分析视频图像的纹理复杂度,提出了基于纹理特性的快速帧间预测单元模式决策算法。根据视频属于水平纹理还是垂直纹理,选择性地进行模式遍历,无需遍历全部的模式。相比于HEVC中模式决策算法,所提出的算法的峰值信噪比降低了0.04d B,码率仅增加0.74%,编码时间节省了34.18%,达到了设计算法的目的,实现相对低复杂度的高效视频编码。