近年来,随着立体视频等应用的兴起,视频信号的数据量越来越大,给存储和传输带来了沉重负担。在存储或传输之前,视频信号通常会被压缩。主流的视频压缩算法,在变换与量化等模块中引入失真,压缩数据的同时也影响压缩后视频的质量。如何在尽可能降低数据量的同时保持尽可能好的视频质量是视频编码的永恒话题。为此,视频质量增强算法被研究者们引入到视频编码中,其中基于神经网络的方法近年来成为了智能编码优化的研究重点,目的是提高解码后视频的质量,提升编码效率。然而,目前压缩视频的质量增强算法仍然存在一些局限性:1)大部分方法仅依赖于从压缩后视频中提取的特征,对视频压缩的编码器中一些重要参数和特征的利用不足;2)已有的多数研究工作只针对自然场景的视频特性进行设计,而屏幕视频具有一些与自然场景不同的特点,如结构复杂、边缘尖锐等,使已有方法提取的特征不适用于屏幕视频的部分内容,从而导致算法的性能受限。为此,本文针对通用的自然场景,研究利用编码器中的参数与特征,提升质量增强算法的性能。接着结合屏幕内容的特点,将其拓展到屏幕视频中。主要内容如下:1)针对自然场景的压缩视频,本文提出一种编码失真先验引导的质量增强算法。考虑到压缩失真受预测残差信号和变换量化的共同影响,算法综合利用了残差信号、量化参数和重建图像等失真相关的先验信息。算法通过建立块级失真估计模型来更准确地估计压缩失真的分布,从而指导神经网络模型滤除失真。与基线VTM-7.1相比,算法的峰值信噪比提升0.29 d B,可以在相同视频质量下节省5.92%的码率。2)针对屏幕内容的压缩视频,本文提出一种基于区域掩码和多级滤波决策的质量增强算法。算法通过扩展增强模块的通道来处理文字图形等内容,然后基于图像的区域信息构建掩码模型,为不同区域选择不同的质量增强通道。此外,本文还提出基于率失真优化的多级滤波开关决策模型。与基线HM-16.20+SCM-8.8相比,算法的峰值信噪比提升0.43 d B,相同视频质量下可以降低3.63%的码率。