随着高清、超高清视频应用的快速推广,视频传输与存储所需要的数据量越来越大。在即将发布的H.266编码标准中应用了大量新工具,大幅度提高了视频的压缩率,但该标准仍然存在较大的提升空间。考虑到深度学习在海量数据表达方面的巨大优势,论文重点研究了长短时记忆(Long Short-Term Memory,简称LSTM)网络用于优化H.266帧内预测过程的问题,提出了两种改进的帧内预测优化算法。主要工作和创新点如下:(1)针对H.266编码器帧内预测过程存在较大预测残差的问题,论文提出了一种基于LSTM网络的帧内模式优化算法。对于角度预测中的水平模式和垂直模式,论文训练了一种LSTM网络模型,利用该模型对帧内预测残差进行二次预测,补偿标准模型中帧内模式的预测结果,减小最终的预测残差。论文对LSTM网络的深度与尺寸进行了讨论,利用统计方式优化了网络参数。实验结果表明,与H.266标准参考模型VTM 2.0相比,论文提出的方案可以平均降低0.34%的BD-rate。(2)针对尺寸较大的编码块中,标准模型对远离参考线的像素预测能力不佳的问题,论文提出了一种基于LSTM网络的多参考线帧内预测改进算法,通过增加当前编码块的其他邻近参考线,将基于单参考线的预测方式改进为基于多参考线的预测方式,为帧内预测提供了更丰富的上下文,并通过LSTM网络对远离参考线的预测块中的右下方区域的残差进行了补偿,提高了帧内预测的精度。实验结果表明,与H.266标准参考模型VTM 2.0相比,该方案平均可以降低0.18%的BD-rate。