唇语识别是计算机视觉领域一项极具挑战的任务,其目的是根据说话人唇部运动视频识别出其说话内容。一方面,在嘈杂环境中,当语音识别受到影响时,唇语识别技术可作为其辅助手段,突破环境限制。另一方面,唇语识别能够辅助听力障碍人士进行正常交流。此外,唇语识别技术在人机交互、视频监控、公共安全及身份认证等领域具有广阔的应用前景。作为一项新兴技术,整体上较低的识别精度使得该项技术仍停留在理论研究阶段,未能应用于实际。针对这一现状,本文使用深度学习方法,从人脸检测、唇部区域定位与提取、唇语识别三个方面进行研究。本文所做的工作和创新点如下:（1）针对使用Haar特征进行人脸检测准确率低及使用HOG特征进行人脸检测速度慢的问题,为了在保证准确率的情况下实现人脸实时检测,本文提出了一种基于Haar特征和HOG特征的人脸检测加速算法。此算法在脸部位置相对固定的情况下,可保证较高准确率以及较快检测速度。（2）针对3D卷积在提取唇部运动视频空间时序特征时忽略空间时序信息不对称性的问题,为挖掘更多的隐含特征,有效学习唇动序列帧的空间时序信息,本文提出了一种（2+1）D卷积,其中（2+1）D卷积对3D卷积进行因式分解,将其原有的一步操作分为两步:独立连续的二维空间卷积和一维时间卷积。充分考虑时间和空间的不对称性,利用（2+1）D卷积可提取更丰富、更抽象的唇部运动短期空间时序特征,利于后续唇部运动的长期空间时序特征的提取。（3）针对现有唇语识别算法对空间时序信息提取能力不足的问题,为了提高对句子识别的准确率,本文提出一种基于（2+1）D CNN-BiGRU网络的唇语识别模型,结合（2+1）D CNN强大的短期空间时序特征提取能力和BiGRU网络对时序数据的记忆能力,使得该模型可同时利用过去和未来所有时序信息,将当前图片的特征扩充至整个序列图片中,实现对整个唇动时序特征的有效学习。在GRID数据集上进行测试,实验结果表明该模型有较高的识别精度,性能优于对比模型。（4）为满足唇语识别实际需求,本文基于（2+1）D CNN-BiGRU唇语识别模型设计实现了一个唇语识别交流辅助系统,该系统实现了视频采集、人脸检测、唇部定位与提取和唇语识别的功能,基本满足唇语识别的需要。