AVS2(Audio Video Standard II)是继AVS1/AVS+等系列后推出的新一代数字音视频编解码标准,其中AVS2-P2即《信息技术高效多媒体编码》为视频部分。其性能与同期的H.265/HEVC标准基本相当,但与上一代标准AVS1相比,其编码压缩效率提高一倍以上。作为面向于高清、超高清、高动态范围的视频压缩标准,其推动了我国信息产业的发展。AVS2获得更好的压缩效率的同时,采用了更先进的编码技术,如更复杂的块划分,更多的预测模式等,使得编码复杂度也大幅提高。依据新标准的RD14.0版本的参考代码,其编码效率远达不到实时编码的要求,对编码算法进行优化是有必要的。本文首先分析了国内外研究现状,并对AVS2标准的关键编码技术做简要介绍。结合RD14.0参考软件中整体编码流程,对AVS2帧内预测模式选择算法做了详细介绍。分析了帧内预测部分的编码复杂度分布,提出了基于纹理方向复杂度的的帧内预测模式选择算法(算法I)。该算法通过减少RMD和RDO过程的候选模式集合来减少编码复杂度。在RMD过程,根据CU的纹理方向复杂度将33种预测模式划分五组,以五选一的策略缩减RMD的模式遍历次数。在RDO过程,结合MPMs和模式命中率来缩减预测模式率失真优化的次数。在RD14.0的基础上,该算法平均节约了41%左右的编码时间,亮度PSNR仅下降0.06dB左右,编码质量损失较小。基于对上述算法的不足之处的分析,由于对大尺寸CU的纹理方向判断易产生较大偏差,会导致出现部分视频序列的编码码率提升较大的情况,提出了基于模式分布的帧内预测模式选择算法(算法II)。根据模式利用率分布的规律,将33种预测模式划分为两组常用模式和三组非常用模式。放弃原有的一次RMD过程和一次RDO过程的选择策略,对五组模式中每组中间模式预先进行一次RMD筛选,再确定需要进行第二次RMD过程的模式组,RDO过程类似算法I。该算法编码时间节省了44%左右,PSNR和码率的质量评价明显优于算法I。最后分析了编码框架最底层的熵编码部分的CABAC算法。由于其被调用的频次很高,对这部分进行优化有一定积极作用。原算法中概率更新过程贯穿每一个符号编码,导致其复杂度较高,因此提出CABAC概率更新加速算法,自适应的调整概率更新次数。该算法节约了AVS2熵编码模块大约8%的编码时间,对编码质量的影响较小。