视频监控系统作为人类视觉功能的延伸，在许多应用中发挥着越来越重要的作用，有着十分重要的价值。近年来，随着电子信息技术特别是计算机视觉与多媒体技术、通信技术的兴起与发展，视频监控领域的研究取得了许多重大突破，视频信息的智能分析与处理、视频信息的压缩与传输是最活跃的两个方面，其中值得研究的问题是开放和无止境的。本文对视频监控系统中的人脸识别、视频增强和视频编码优化三个基本问题进行了较为深入的研究，并提出了一些新的方法。第一，人脸识别在视频监控系统中扮演着关键的角色。虽然自动人脸识别（Automatic Face Recognition，AFR）技术发展到今天已经非常成熟，但是在非可控环境下仍然存在许多问题，尤其是光照条件发生变化时，识别效果会明显下降。视频监控系统全天候工作的特点使得采集的人脸图像无法避免光照的影响，因此克服光照变化对人脸识别的影响在视频监控应用中就尤为重要。本文首先深入研究了人脸识别中的光照问题，然后基于人类视觉系统的人脸光照模型，提出了一种新的光照不变人脸特征描述方法，主要原理是采用轮廓波变换（ContourletTransform，CT）处理对数域的人脸图像，分解得到低频子带和高频子带，然后利用轮廓波去噪模型，保持低频系数不变，改变高频系数后使用轮廓波逆变换（Inverse Contourlet Transform，ICT）重构图像，进而估计光照模型中的光照不变成分。本文还提出一种基于混合投影函数的人脸特征描述方法，该方法对人脸图像进行分块处理并利用混合投影函数和图像熵构建特征矩阵，由于混合投影函数对光照变化和随机噪声不敏感，图像的分块处理能减弱人脸图像局部变化的影响，因此是一种良好的光照鲁棒性人脸特征描述方法。实验表明，这两种方法均能有效提高光照变化条件下的识别率。第二，视频增强是视频监控系统中的关键技术之一。通常视频监控系统要求能够24小时工作，由于夜间亮度不足造成监控视频质量低下，给后续的分析与识别带来很多困难，因此提高夜间视频的视觉质量就非常重要。本文提出一种使用小波变换（Wavelet Transform，WT）的夜间视频增强算法，该方法首先结合色彩空间转换和小波变换来分离视频的光照成分，并对监控视频作运动检测和背景估计，借助相同场景的白天高质量视频，提出一种新的融合规则来进行视频增强，最后重构彩色的图像和视频。实验表明，该方法能非常有效的提高夜间视频的视觉质量。第三，视频编码优化在视频监控系统中也非常重要。新一代视频编码标准H.264/AVC及可伸缩视频编码（Scalable Video Coding，SVC）的提出使得视频数据的压缩格式越来越先进，但这是以提高计算复杂度为代价的。视频监控系统中海量的视频数据与有限的存储和网络资源的矛盾，实时性处理的需求与嵌入式设备有限的计算能力和能耗的矛盾，成为视频监控系统的瓶颈，这就使得提高视频的编码速度非常必要。本文首先提出一种适宜于H.264/AVC的帧间快速视频编码算法，该方法首先利用运动和纹理预测可能的编码模式，排除可能性较小的模式，然后利用时间和空间的相关性预测各种模式的可能性大小及编码顺序，并结合相关性和量化参数利用率失真和残差系数提前终止。实验表明，该算法能够有效的提高编码的速度，同时对编码效率的影响很小。本文还基于质量可伸缩编码的特征，并结合层间相关性、残差系数和运动向量，提出了一种质量可伸缩编码中增强层帧间快速编码算法。实验表明，该算法在编码效率损失很小的情况下能有效的提高编码速度，且特别适合应用于运动复杂的视频序列。