唇读技术,不仅可以作为语音识别的辅助手段应用于多模态语音识别系统中,以增强系统的鲁棒性与准确性,突破应用场景的限制;还能够应用于辅助听力障碍人士进行正常交流与语言功能恢复,以及作为新型编码用于特殊场景。传统的基于二维视频图像的唇读研究已经取得了很大的进展,随着三维成像技术的发展,唇读研究有了更广阔的发展前景。论文旨在研究基于Kinect传感器获取人脸三维数据的实时唇读技术。研究内容主要包括数据采集、唇区检测及定位、特征提取和训练识别过程。首先,基于Kinect设备采集语料数据。其次,针对Kinect Face Tracking SDK获取的脸部三维坐标信息,进行数据预处理,构建人脸的唇动三维模型;并根据CANDIDE-3与MPEG-4标准人脸模型的对应关系,进一步确定唇区的18个特征点所在位置,并增加唇区周边的19个特征点共同作为感兴趣区域。然后,对于感兴趣区域的37个特征点,论文提取出4种三维空间特征,分别为坐标原点与感兴趣区域特征点构成的坐标向量特征、根据唇区轮廓形状计算得到的几何比例特征、基于KNN分类算法选取的唇区角度特征、基于标准人脸模型选取以及基于唇动特征自定义的空间角度特征。上述特征更全面地表征唇动信息,同时有效降低数据采集时说话者的姿态、朝向等偏差所带来的影响。然后,论文对4种空间特征分别采用分段线性插值方法进行规范化,并使用KNN分类算法进行特征评选环节,以得到最具代表性的空间特征,加以融合形成最终的空间唇读特征。最后,论文采用KNN分类算法与集成学习算法进行训练识别,其中使用KNN分类算法验证了空间唇读特征的高效性与实时性;相比于Bagging集成学习方法,K-近邻集成法得到了更好的分类效果,更加适用于实时唇读系统。