唇语识别是指利用计算机分析人说话的视频并根据说话人嘴唇运动的情况来自动识别其说话内容。唇语识别得以实现的基础在于唇动视觉信息是说话内容的重要载体,普通人在与人交流的过程中会通过观察说话人的唇部动作来辅助对语音的识别,当说话人处于嘈杂环境中时,唇动视觉信息更是成为了识别说话内容的重要的甚至是唯一的依据。正是由于唇动视觉信息的重要性,如果设计合理的视觉分析算法,计算机就能以较高的正确率实现唇语识别。受不同说话者不同的嘴唇外观、不同的说话习惯、不同的背景信息影响,即使说话者说了相同的内容,唇动视觉信息也会相差很大,这给唇语识别带来了很大的挑战。为了解决唇语视觉信息多样性的问题,本文提出了基于Long Short-Term Memory(LSTM)的新的唇语识别方法,试图从唇语视频中自动学习具有不变性的空间-时序特征,提高唇语识别的准确率。本文在公开的唇语数据集GRID、MIRACL-VC和OuluVS上对本文的方法做了针对分割的单词或短语的说话者独立的唇语识别评估。在GRID和MIRACL-VC上,本文的方法达到的准确率比传统方法至少高30%,在OuluVS上,本文的方法达到的准确率接近于最优结果。本文的主要贡献如下:1.不同于以往大多数的方法从嘴唇外表信息入手,本文研究了用嘴唇关键点坐标描述嘴唇形变信息作为唇语视频的视觉特征,它具有类内一致性和类间区分性的特点。2.本文提出了利用LSTM对唇语视觉特征进行处理,它能学习具有区分性和泛化性的空间-时序特征。实验结果表明,本文提出的基于LSTM的唇语识别方法有效地解决了唇语视觉信息多样性的问题。3.本文讨论了 LSTM适用于唇语识别任务的原因,依照本文的方法,可以利用LSTM完成其它类似唇语识别的序列任务。