在语音识别和人机交互技术备受关注的情况下,口唇检测和跟踪逐渐引起人们的关注,口唇检测是唇读和唇动合成的首要部分,可以提高语音识别的识别率,且能辅助老师进行聋儿教学以弥补相关老师的缺乏和提高学生的自学能力。本课题分析了国内外在口唇特征定位和跟踪方面的研究现状,重点研究了两种技术：一种变形模型方法是精确提取物体几何特征的常用方法,但是其计算量大；另一种粒子滤波器是图像目标跟踪中常用技术,在大目标的跟踪中效果显著,然而对于微特征的图像目标也存在点漂移等情况。本课题综合使用变形模板和粒子滤波获取嘴唇区域特征,对视频序列中嘴唇特征定位与跟踪技术进行了研究：1.针对黄色人种的唇色与肤色相似性、胡须、牙齿等干扰因素对口唇定位的影响以及光照不均匀性等问题,给出了一种基于CIELab颜色空间的口唇定位方法,与现有的排红法、CCD算法、色彩特征提取法等比较,可以解决对光照的依赖性、尽量避免干扰因素对口唇定位问题的影响,实现比较准确的提取出口唇区域。2.针对可变形模板的初始化及其存在的多参数优化求解问题,给出了一种采用投影法粗略确定口唇的嘴角点,对可变形模板进行初始化的方法。可以解决可变形模板的求解复杂性的问题,为进一步精确提取口唇特征点打下基础。3.针对发音过程中口唇变形、旋转、缩放以及对边缘连续性要求等问题,给出了一种基于可变形模板的口唇轮廓提取算法,通过采用多条曲线逼近口唇轮廓,利用边缘、波谷等能量函数确定口唇轮廓。实验表明该方法克服了不同光照、牙齿、舌头等的影响准确提取口唇轮廓,得到反映口形变化的参数。4.针对口唇微特征点难以跟踪问题,本文给出了一种使用粒子滤波器跟踪口唇特征点的方法。在使用粒子滤波器时,对如何选取跟踪特征框尺寸和粒子数目进行了实验确定,保证了跟踪的精度和效率。并通过实验统计特征点跟踪偏差,对嘴唇区域进行调整,减少定位的偏差。实验表明该方法在跟踪精度和时间方面具有一定的优势。总之,本文对视频序列中口唇检测与跟踪进行研究,并对关键技术进行了实验验证,达到了预期的效果。