唇语识别的目的在于利用视觉信息弥补听觉通道的不足,广泛应用于监控视频语音还原、噪声环境语音增强等领域。唇语识别的挑战体现在其涉及两种感知通道的转换,唇语本身具有多义性、多样性,以及唇部细节视觉特征的表示与理解,也是导致现有的唇语识别技术仍面临着流畅度不高、可懂度低等问题的原因。改善这一问题的关键在于如何获取更丰富的唇部变化的细节信息并挖掘其时空相关性。为此,本文从注意力机制和多分支时间卷积网络两个方面开展唇语识别研究,提高了整体精度和识别速度,具体内容如下:1.基于注意力机制的唇语识别方法。为了更有效地学习到不同发音时,唇部动作变化中的重点时空特征,本文设计了融入空间注意力的残差网络和融入时间注意力的时间卷积网络。融入空间注意力的残差网络使模型在提取特征时能够更加关注唇部区域变化;融入时间注意力的时间卷积网络使模型在处理序列时能够更加关注关键时间节点,得到具有时间关联性的时间特征信息。加入时空注意力模块后的网络在中文数据集LRW-1000上获得了60.11%的准确率,优于其他唇语识别方法。2.基于多分支时间卷积网络的唇语识别方法。本文提出多分支时间卷积网络来解决部分发音唇部动作相似度较高的问题。多分支时间卷积网络可以在同一层捕捉到不同尺度的特征,获取到长期及短期的丰富信息;此外,将3D时空卷积分解为三维空间卷积和三维时间卷积,在保证特征稳定获取的同时在一定程度上控制了网络的规模和参数量。改进后的唇语识别算法在中文数据集LRW-1000上获得了60.94%的准确率,同时也降低了计算复杂度和参数数量。