论文部分内容阅读
唇读技术是一门新型的多种交叉学科研究技术,涵盖了图像处理、模式识别、计算机视觉中的关键技术。由于视觉方面的优势,广泛应用于辅助聋儿康复、辅助语音识别、手势识别和个人身份认证等方面。本课题通过对国内外研究成果的总结,对唇读技术的各个关键模块进行了较为深入细致的研究。主要工作包括:(1)自建了小型彩色与深度图像数据库。由于本课题研究方向的特殊性,需要彩色图像与深度图像相对应的数据库,而目前并没有这样的成熟的数据库,因此自建了小型的彩色图像与深度图像相对应的数据库,并完成前期视频分割,得到发音的关键帧图像。(2)对唇部区域定位进行了相关的研究。采用基于人脸检测与五官相对结构的唇部区域定位方法对唇部区域进行精确的定位,并通过大量实验,研究得到唇部区域相对于鼻子在人脸区域分布的最佳参数。实验表明该方法以及通过该方法得到的参数可以精确的标定唇部区域并且尽量排除其他干扰。(3)在唇部分割技术的研究方面,提出基于彩色与深度图像的唇部分割方法。对于彩色图像,采用基于Lab色彩空间a分量的唇部提取方法进行唇部提取,同时在阈值选择方面进行了研究,通过实验证明应用Otsu法能够得到更好的分割阈值。对于深度图像通过彩色图像的映射得到深度图像的唇部区域,对深度图像的唇部区域利用k均值聚类进行分割。并且在两种图像的结合方法和除噪方法上进行了研究。实验证明基于彩色与深度图像的唇部分割方法能有精确有效的将唇部像素和非唇部像素分离。(4)在唇部特征提取方面,研究了基于投影法和可变模板相结合的特征提取方法。首先利用投影法较为精确的找到可变模板的初始化点,然后令可变模板在初始化点周围小幅度迭代,这样的方法大量减少了迭代的次数,提高了可变模板的匹配速度。另外,在识别方法上利用SVM分类方法进行了分类实验,实验证明该方法能够提高唇读系统的识别率。