随着深度学习的迅速发展,用深度学习的方法研究唇语识别逐渐成为一个新的研究热点。唇语识别需要通过对获取到说话人的唇部运动信息,包括嘴唇与舌头牙齿的相对位置来分析判断,识别出说话人所表达内容,识别结果会受到语言、发音习惯、讲话角度等因素的影响,因此,基于唇动获得信息是一项十分具有挑战性的课题。同时,缺乏公开的中文唇语语料库开展相关研究。对此,本论文围绕基于句子级别中文唇语语料库构建和基于深度学习的中文唇语识别方法开展了以下研究工作:提出基于句子级别的中文唇语语料库NSTDB(News,Speech,Talk Show Database)的半自动构建方法。该方法首先通过人脸检测算法进行筛选,得到仅含有独立讲话者的视频片段;然后对视频片段的每帧通过人脸关键点定位算法获得连续唇部帧图像;最后使用语音识别技术对分离的语音进行处理,生成中文文本,再经分词处理,获得相应的标签数据。提出一种基于深度学习的中文唇语识别网络模型Ch-LipNet。该模型首先使用2D卷积神经网络提取每一帧唇部图像特征,并将特征进行拼接;然后接入一个双向长短时记忆网络LSTM(Long Short-Term Memory)或门控制单元GRU(Gate Recurrent Unit),用于完成图像序列到文本序列的学习;同时,训练过程中采用CTC(Connectionist Temporal Classification)损失函数,以实现不等长序列的对齐;最后,输出层采用全连接,获得对应的文本标签。提出一种基于D2D(DenseNet-2D)模型和数据拼接预处理的唇语识别方法。该方法使用LRW-1000数据集和自建中文唇语数据集NSTDB训练网络模型。实验结果表明,数据拼接方法不仅适用于词级别的中文唇语识别,也适用于句子级别的中文唇语识别,在准确率影响不大的情况下,大大提高了训练速度,并提升了空间利用率。