人脸的检测与跟踪是计算机视觉中一个较为前沿和重要的课题。作为最直观和最具代表性的生物特征,人脸的存在以及身份确认为视频信息提供了重要的语义特征,并为后续的视频检索以及相关处理提供了的基础。本文对彩色人脸在图像和视频中的检测作了系统深入的研究,提出了一种基于肤色模型的贝叶斯人脸检测算法。该算法充分利用了彩色图像中的颜色信息,以及人脸的结构信息,将复杂的人脸检测过程简化为两大基本步骤:肤色检测和人脸特征检测。前者借助混合高斯模型(GMM)对人脸肤色区域建模,生成肤色检测规则。针对GMM中分量数合理选择问题,提出一种基于聚类有效性函数的最优分量数确定方法,以提高肤色检测的精度。在人脸特征区域判决中,引入菱形搜索与贝叶斯判决相结合,以提高人脸特征区域的检测速度。实验结果表明新算法具有较高的检测精度和较低的漏检率。其次,本文将人脸检测扩展到了视频当中,提出了一种基于眼睛定位的人脸跟踪算法。对于算法定义的新闻视频中的显著人脸,具有较好的跟踪效果。此外,显著人脸的定义及其检测和跟踪为后续的人脸识别以及视频在高级语义上的处理奠定了基础。