HEVC (High Efficiency Video Coding)是VCEG和MPEG联合制定的新一代视频编码标准。HEVC依然采用了与先前视频编码标准H.264/AVC一样的混合视频编码的基本框架,但在各个编码模块上都进行了改进和革新。与H.264/AVC相比,在同等应用条件和视频质量下采用HEVC进行编码的码率要降低将近一半。在HEVC中,帧间／帧内预测技术、编码的复杂度及其优化技术对其性能及实际应用至关重要。本文针对HEVC的帧间／帧内预测及其优化技术进行了深入的研究,论文的主要工作和创新点如下：1.针对HEVC测试模型HM1.0中采用的基于“竞争”机制的运动向量的预测模型,提出了一种运动向量预测器的选择方法。该方法通过有效地去除运动向量预测器候选值列表中不可能的值,从而减少对索引值编码所需要的比特数,提高运动向量的编码效率。2.针对基于块的运动补偿,提出了一种基于控制点描述的仿射运动模型,并通过充分利用空间相关性对控制点上的运动向量进行预测,从而减少对仿射运动参数进行编码所需要的比特数。基于该模型,在HEVC的测试模型HM1.0上设计实现了四种基于仿射运动补偿的帧间预测模式。与原始的HM1.0编码器相比较,所提的基于仿射运动补偿的帧间预测模式能够显著提高编码效率。3.针对HEVC中采用的四叉树结构编码单元的划分方式,提出了一种快速的自底向上的四叉树裁剪算法,从而减少编码时模式决策过程的次数。针对HEVC中定义的35种帧内预测模式,提出了一种新颖的帧内模式的快速决策算法。以上所提的两种算法均能够在不明显影响编码效率的前提下有效地降低编码复杂度。同时采用两种算法可以节省大约40%的编码时间,而平均码率的增加仅有0.77%。