视频监控是继数字电视、视频会议之后的一个新的大型视频应用，是视频技术和网络技术经过多年高速发展之后汇聚而成的一个具有变革性的大型信息系统。然而，长时间（数月甚至数年）拍摄的海量监控视频对视频编码提出了新的挑战。一方面，传统以预测/变换为核心的混合编码方法已经难以满足监控视频对高压缩率的需求。另一方面，视频监控系统中大量部署的是编码器，因此要求使用低复杂度的编码或转码算法实现监控视频实时存储或再压缩。受模型编码方法的启发，本文致力于研究基于背景模型的高效监控视频编码算法，主要创新点包括：第一，研究了复杂度低、高效率的背景建模和更新算法，用于显著去除监控视频中的背景冗余，适应低复杂度编码的需求。设计了基于背景模型的监控视频编码框架，证明了使用原始输入图像构建的背景模型可以获得更优的率失真结果。在此基础上，针对视频编码对背景模型的计算资源、存储资源和编码效率的要求，研究了两种低复杂度的背景模型，建立了场景内容和量化参数自适应的背景更新模型。与传统背景建模方法相比，两种背景模型分别在较低和最低复杂度下实现最优（平均1.19~1.23dB）和较优（平均0.91~0.99dB）的编码性能增益，所使用的背景更新模型可以进一步实现0.3~0.4dB的编码质量提升。此外，在极端环境视频上的实验也证明，所提出的模型对中等强度以上光照强度的各种天气条件都具有很好的适应能力。第二，提出了一种基于背景差分预测的自适应运动补偿预测模型和编码算法，用于提高监控视频中前、背景像素混合数据块的预测效率，这是对传统编码框架的创造性扩展。从理论上分析证明了在背景差分编码下可以提高前、背景像素混合块编码效率的三个条件，设计了背景预测、短期预测和差分预测三种运动补偿的自适应选择机制和每种运动补偿下的编码模式选择算法，建立了基于背景差分预测的自适应运动补偿模型。与直接进行背景差分的编码方法相比，实现了18.45~31.75%的码率节省。与前景像素编码性能最优的长期参考关键帧编码方法相比，本模型在编码前景像素块时峰值信噪比提高了0.61~0.74dB。第三，研究了一种基于背景预测的帧间层级编码优化算法，用于解决最新的HEVC和AVS2标准在监控视频编码时的压缩效率问题，同时还明显降低了编码复杂度，实效性和创新性强。通过比较现有的适用于低延迟监控视频编码的参考帧管理机制，分析了HEVC和AVS2层级编码方法能够提升性能的各原因，从实验和理论两方面论证了如何将建模背景与层级编码相结合以减少率失真代价。在此基础上，以提高编码效率为目标，提出了基于背景预测的分层参考帧选择和基于背景相似图像组检测的分级量化参数调整优化算法。以降低编码复杂度为目标，设计了基于编码单元分类的预测单元模式选择、编码单元划分和运动估计加速算法。针对监控视频和会议视频的实验表明，本算法与HEVC参考软件相比能够节省44.78%和13.79%的码率，而且能够把复杂度降低40%。第四，设计了一种基于宏块分类的监控视频降码率转码算法，以很低的复杂度实现了转码效率的大幅度提高。该方法首先使用解码数据建立和编码背景图像，进而使用重建背景统计前景像素的分布情况，对待转码宏块进行分类。以此为基础，通过设计宏块类别自适应的转码模式选择、参考图像选择和运动估计精简算法，显著降低了转码过程中运动估计和模式选择的复杂度。实验表明该方法可以在H.264参考软件上实现60~80倍的全解全编转码速度提升。采用该算法，针对AVS和H.264标准设计实现的多路实时高清、超高清监控视频转码系统已被合作企业在产品中集成应用。围绕上述算法，向国家数字音视频编解码技术标准工作组（简称AVS）提出的九项技术提案已被采纳并形成了AVS视频编码标准中的监控类标准，并且被批准为IEEE1857标准。与AVS国家标准的基准类和国际标准H.264相比，AVS监控类标准的编码效率提高了一倍。此外，还建立了监控视频测试码流库，生成了H.264和AVS监控类标准的编码位流，形成了用于对监控视频编码和分析算法进行评估的公开数据集。