随着先进的视频获取和显示技术的不断发展，视频由原来的标清视频逐步发展到现在的高清、超高清视频。视频的数据量也随之增加，其对数据的存储和网络传输提出了更大的挑战。而视频编码能高效地压缩视频数据，这使得视频编码技术的研究成为工业界和学术界研究的热点问题。为满足用户对高清，超高清视频的应用需求，高效视频编码标准（HighE?ciencyVideoCoding，HEVC）及其3D扩展标准（3D-HEVC）相继制定完成。虽然越来越先进的视频编码技术可以大大提高视频的压缩性能，然而，先进的视频编码标准获得较高编码效率是以高编码计算复杂度为代价，这将严重影响视频编码标准的实时应用。因此，在保证视频压缩质量的前提下，有效优化视频编码过程，降低编码的计算复杂度是编码标准实时应用的必要前提，也是高清，超高清视频应用的需求。
　　视频编码标准通过采用更加灵活，更加精细的算法提升压缩性能，但同时也增加了编码计算复杂度。因此，为降低HEVC和3D-HEVC编码的计算复杂度，本文主要对帧内编码和帧间编码技术进行优化研究，具体的主要工作归纳如下：
　　第一，提出了一种基于单极点终止模型的提前SKIP模式终止算法用于降低HEVC帧间模式选择计算复杂度。首先，根据编码单元（CodingUnit，CU）深度时域相关性，每一个CU被分为常用或不常用。对于不常用CU，SKIP模式直接确定为当前CU的最优模式，从而提前终止剩余模式决策过程。对于常用CU，通过探索继承模式相关性和率失真代价（RateDistortioncost，RDcost）属性，建立单极点终止模型用于提前终止SKIP模式决策。实验结果表明，提出的提前SKIP模式终止算法在随机获取（RandomAccess，RA）和低延时B（LowDelayB，LDB）的测试条件下平均节约58.5%和54.8%的编码时间，而BDBR（BjontegaardDeltabitrate）平均只增加了0.8%和0.8%。
　　第二，提出了一种基于最优选择模型和编码参数的快速帧间CU深度选择算法用于减少HEVC帧间CU深度选择的计算复杂度。根据CU深度时域相关性，建立了最优选择模型用于预测当前编码CU的深度范围。为减少当前CU深度的预测误差，最优选择模型预测的最大CU深度和当前编码CU的编码块标志（CodedBlockFlag，CBF）联合用于确定当前CU的最大深度。与此同时，当前编码CU的预测单元（PredictionUnit，PU）的预测模式和CBF同样用于确定当前编码CU的最大深度。实验结果表明，提出的快速CU深度选择算法在RA和LDB的测试条件下平均节约56.3%和51.5%的编码时间，而BDBR平均只增加了1.3%和1.1%。
　　第三，提出了一种基于混合终止模型的快速CU和PU决策算法用于降低3D-HEVC帧间非独立纹理视点编码计算复杂度。利用视点间相关性，粗略预测当前编码最优CU深度划分和PU预测模式，然后利用RDcost相关性和CBF确定当前预测的CU深度划分和PU预测模式是否为最优。为进一步减少3D-HEVC帧间非独立纹理视点和非独立深度图编码计算复杂度，提出了一种基于概率模型的提前Merge模式终止快速算法。利用已编码块的继承和视点间相关性，建立先验概率模型，用于粗略预测当前编码块的最优模式是否为Merge模式。然后利用当前编码块的CBF，建立后验概率模型，用于进一步确定当前编码块的最优模式是否为Merge模式。实验结果表明，提出的提前终止Merge模式算法用于非独立纹理视点和非独立深度图编码分别节约45.2%和30.6%的编码时间，同时保持编码效率几乎没有损失。
　　第四，提出了一种基于残差的自我学习模型用于3D-HEVC帧间独立和非独立视点提前Merge模式终止。利用已编码块的Merge模式残差，建立自我学习模型。通过比较当前编码块的Merge模式残差信号的方差值与自我学习模型获得的自适应残差信号方差值，提前决定当前编码块的Merge模式是否为最优模式。实验结果表明，提出的提前Merge模式终止快速算法分别对于纹理视点编码，深度图编码及总编码时间平均减少41.9%，24.3%，34.4%，而几乎没有编码性能降低。
　　第五，提出了一种基于自我学习残差模型的快速帧内CU深度选择算法用于减少3D-HEVC帧内纹理视点和深度图编码计算复杂度。首先，对每一个当前编码CU深度，根据原始亮度像素与最优预测像素之差得到残差信号。其次，通过迭代学习先前已编码的残差信号建立自我学习残差模型。最后，根据自我学习残差模型得到的自适应阈值提前终止当前编码CU深度的进一步划分。实验结果表明，提出的快速帧内CU深度选择算法能有效的分别降低纹理视点和深度图平均33.3%和49.3%编码时间，同时保持编码效率几乎没有损失。