随着人们生活水平的不断提高，对高清视频的需求越来越强烈，给现今有限的网络带宽带来了巨大的挑战。因此，在视频编码联合小组（JCT-VC）的不断努力下，高效率视频编码（HEVC）应运而生，并于2013年1月正式成为国际标准。　　HEVC仍然采用基于块的混合编码框架，但引进了大量的创新技术：基于四叉树的递归划分技术；更大的编码块尺寸；首次分离三种编码单元类型等。基于这些创新技术，HEVC的编码效率显著提高，但相应的计算复杂度也大大增加了。　　本文主要目标为降低 HEVC的编码计算复杂度，重点在于优化帧内帧间的模式选择过程。首先对 HEVC的关键技术进行了介绍，其中重点介绍帧内与帧间预测流程及其相关的国内外研究进展。　　随后，本文针对帧内与帧间的模式选择过程分别提出了多种优化算法。在帧内预测层面上：首先，通过分析当前编码树单元（CTU）的像素分布，构造基于分组的亮度直方图，并利用该分组亮度直方图的自相关函数自适应选择最有可能的深度范围；其次，利用变换差绝对值之和（SATD）提前终止某些编码单元（CU）不必要的分割过程；最后，基于统计分析的结果，模式相关性以及视频本身的纹理特征，提出了多种策略进一步缩减需要进行率失真优化（RDO）计算的预测模式数量。在帧间预测层面上：首先，通过利用已编码CU的率失真代价（RDcost）以及运动矢量（MV）信息提前选择出最有可能的分块模式或者提前跳过低概率的预测模式；接着，利用RDcost提前终止某些满足条件的CU不必要的分割过程。实验结果表明，本文提出的帧内预测优化算法在全帧内编码环境下可以节省约50％的编码时间，而帧间优化算法在帧间各种编码环境下可以节省约35%的编码时间，同时两者均能保证与原始算法取得几乎相同的率失真性能。而且，本文提出的算法硬件软件实现简单，可以为实现 HEVC的实时应用起到重要的参考意义。　　最后，对本文的研究工作进行了总结，并展望下一步的研究方向。