唇语识别是融合了计算机视觉、语音识别和自然语言识别等多领域技术的课题,目的是解码说话者嘴唇运动生成的文本,具有非常广阔的应用场景和现实意义,目前最常见的是用于辅助提升语音识别准确率,也可以帮助听障人士进行交流等。随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但中文无论是在数据集的丰富性还是识别的准确率上均存在一定的落差。本文通过分析中文的发音特点,利用深度学习技术,意图在句子级别进行中文唇语识别,并提高识别准确率。具体研究内容包括以下两个方面:第一,深入研究中文发音的原理和特点,总结出了几种适合于中文唇语识别的建模单元集（词、音节、声韵母和中文音素）,并分析了它们各自的优缺点和适用性。然后,通过分析中文发音的视觉特点可知,组合成短语或句子的汉字发音在唇形变化上极具混淆性。据此,提出“视觉拼音”这一概念,它是通过对中文音素进行视觉相似性归类得到的,尽可能地规避中文在视觉表达上的歧义性,这也是中文唇语识别领域的一个新的建模单元集。通过实验对比,得出视觉拼音相比于其他建模单元集,更适合中文唇语的解析。第二,基于深度学习技术,设计和实现中文唇语识别模型。为了验证视觉拼音的有效性,建立了以视觉拼音作为建模单元集的端到端句子级中文唇语识别模型。模型基于两个带有注意机制的序列到序列网络串联而成,作用分别是:（1）解析唇部视觉特征,将视频帧表达成视觉拼音;（2）以唇部视觉特征辅助矫正视觉拼音,将视觉拼音序列翻译成汉字语句。实验结果表明,相比于其他方法,本文利用视觉拼音建立的模型性能更优,可以更准确地识别汉字。本文工作面向中文自身的特点,提出了一个新的中文唇语识别建模单元集——视觉拼音,并基于视觉拼音构建了一个端到端的中文唇语识别模型。实验结果一方面证明了所建模型的性能更优,另一方面也证明了视觉拼音的参与可明显提高中文唇语识别的准确率,为将来的相关工作提供了参考。