近年来随着社会经济的发展，视频监控越来越广泛地应用到生产、生活中的各个方面。随着人们安全、法律意识的提高，使得视频监控中的隐私保护问题开始受到人们的密切关注。该研究具有十分重要的理论意义和实际应用价值。本文在深入研究前人的基础上，按照人脸检测、跟踪、加密的步骤建立起一个基于H.264视频编码的人脸图像保护系统，即对监控场景中暴露人物身份的人脸区域进行加密，从而达到对图像中隐私敏感信息保护的目的，同时由于该系统只对图像中局部区域进行加密，因此可以从一定程度上减少通信成本开销和计算量。作者针对系统各个环节存在的问题开展了研究，主要工作和创新如下：(1)在人脸检测阶段，本文提出了一种改进的Bayes特征分类器人脸检测方法，并将改进的方法用于Adaboost人脸检测后的验证，实验结果表明该方法不仅能准确定位人脸，而且能有效降低单独使用Adaboost检测方法的虚警率。(2)在人脸跟踪阶段，本文提出了一种综合肤色、大小、预测位置、稳定系数、直方图的多特征方法，用来解决人脸跟踪中的遮挡问题。针对多人脸跟踪中常见的问题，本文进一步对人脸运动中的目标进入、目标消失的情况进行了研究，并在人脸遮挡算法的基础上提出了多人脸跟踪的整体算法，实验结果验证了该算法的有效性。(3)本文实现了基于CABAC和RC残差系数的加密编码，对人脸区域所在宏块进行加密，有效保护人脸区域。(4)本文在人脸检测、人脸跟踪、人脸加密各个模块的基础上，构建了一个基于H.264的人脸保护系统，对摄像机采集的视频图像中感兴趣人脸区域进行加密，实验结果显示了该系统的有效性。