唇语识别（Lip reading）涉及图像,自然语言处理等领域,成为目前计算机视觉领域中的研究热点,通过从连续的唇部图像序列中对时空信息建模,获取特征信息,从而学习到对应的文本内容。唇语识别的运用场景多,可以用来帮助听力障碍者交流,用于嘈杂环境下的语音识别,还可以用于军事,公安侦查和破案。但是,要想得到准确的唇语识别需要克服很多困难。人在说话时会存在不同的姿态以及不同的光照条件会影响唇语识别,丰富的语言内容导致唇部运动变化多样也提高了唇语识别的难度,导致了目前唇语识别的研究进展缓慢。深度学习的研究离不开数据,目前公开的唇语识别数据集较少且主要是英文数据集。首先对目前主流的唇语识别数据集做了综述。其次,我国是多民族融合国家,语言种类丰富,为了给藏语唇语识别奠定良好的基础,本文构建了第一个藏语词级唇语识别数据集,命名为TLRW-50,数据集文本包含50类常用的藏语词语,经过数据预处理保存为一系列的唇形图片序列。并采用了色彩增强、添加高斯噪声、水平镜像、放大、旋转、裁剪六种图片数据增强的方法对唇形图片帧序列进行扩充。数据扩充前对唇语识别视频进行了主观评估。结合唇语识别的难点将D3D算法运用到藏语唇语识别中,该模型对特征提取器进行了改进,将Dense Net里的空间卷积修改为时空卷积,提高了模型的短时依赖建模能力,采用了联结主义时间分类（Connectionist Temporal Classification,CTC）损失,使网络自主学习,输入输出序列在解码的时候能够对齐。通过大量实验,最终在LRW-1000上Top-1分类准确率为34.28%,Top-5分类准确率为50.26%。TLRW-50上Top-1分类准确率为39.65%,Top-5分类准确率为56.73%。表明该方法可用于实现藏语唇语识别。采用了变形流网络来捕获人脸运动变化信息,生成藏语唇语识别视频中人脸的变形流,以自监督方式来训练。为了提高唇语识别效果,使用变形流和原始视频作为双流网络的输入进行计算,每个分支独立地预测每类词的概率。为了使两个分支在训练过程中进行信息交换,采用了知识蒸馏,并利用一个双向的知识蒸馏损失来帮助两个分支在训练过程中互相学习对方的预测。在测试时,融合来自两个分支的预测,以做出最终的预测。我们观察到,与使用任何一个单一分支的结果相比,融合两个分支的测试结果具有更高的分类准确率。表明两个输入源,原始视频和变形流,为唇语识别任务提供了互补的线索。