对计算机唇读的研究在语音识别、人机智能接口、多媒体系统以及人脸数据压缩等领域具有重要的理论意义和实用价值.该文对计算机唇读系统中的几个问题唇读研究的预处理、唇动定位与特征提取、唇读识别和唇读融合进行了研究和实践,具体包括以下内容:根据课题要求建立一个包含所有声韵母的200个常用汉语句子,作为唇读识别系统的研究数据库.建立了适合进行中国唇读研究的双模态语料库CAVDatabase Ⅱ.在唇的检测方面,通过对人脸区域的实时分析,自适应的找到唇色与肤色的聚类范围,从而修正唇色模型,利用该模型实现了实时唇动检测与跟踪.唇色自适应模型使得系统可以对不同的唇色、光照和摄像机色调等客观条件进行自适应调整,提高了系统在自然条件下的鲁棒性和实用性.在唇的定位与特征提取方面,采用了自适应色度过滤模型,使唇的定位更加准确鲁棒性更强.在其基础上运用主成分分析(PCA)提取了唇动的图像特征,使用可变模板技术提取形状特征.通过两部分特征的有效结合,利用直接挑选和回归建模的方法去掉特征之间的冗余性,各取所长,提高了特征对环境的鲁棒性.在唇读识别方面,利用半连续HMM模型实现了对200个句子(包含96个口型序列图像)的训练和识别.对模型在唇读识别应用中的一些具体问题进行了探讨,建立了适合唇读的HMM模型.最终取得了特定人57.3﹪,非特定人22.4﹪的识别率.在唇读融合方面,提出了带先验知识的DS理论,对特定人和非特定人的语音可提高识别率10﹪-30﹪.