近年来,随着大数据技术、深度学习的进步,计算性能的提升,语音识别取得显著进展。已有研究表明,无噪声环境下基于深度学习的语音识别可以取得优异表现。然而,很多现实场景存在明显噪声,仅使用纯音频很难支撑高精度的语音识别。而视频不受噪声影响,说话人相关的视频模态能够为音频补充语义信息,因此结合视频信息的视听语音识别,可以应对更复杂的环境。通常视频和音频模态的帧率、信息长度不相同,现有的视听语音识别模型在特征融合方法上多采用拼接或相加的方式,特征匹配度低、融合不充分。针对此问题,本研究在搭建了基于自注意力机制的视听语音识别系统的基础上,提出了视听语音识别的跨模态注意力融合方式。在融合视频和音频模态特征前,对两种模态特征通过内积方式计算跨模态注意力权重,并利用残差连接保留原来的特征信息后进行融合。这种跨模态注意力的融合方式,增强了两种模态之间的特征互相借鉴能力,提高了特征匹配度,实验表明在多种场景下普遍优于拼接和相加的融合方式。已有的视听语音识别模型大多只考虑了正脸情况,而实际场景人脸位姿变化较大。本研究在不同角度拍摄的数据集进行对比实验,发现人脸位姿变化会减少视频模态对视听语音识别的贡献。为降低人脸位姿变化造成的唇形偏转对视听语音识别的影响,本研究使用3D人脸建模的方法获取了人脸的三维空间信息,用颜色属性调制得到的深度信息。为了有效利用挖掘到的深度信息,设计了可变形卷积残差块作为模型视觉前端,通过调整卷积核的位置偏移量,学习人脸位姿变化的空间位置变换关系。本研究提出的方法使视听语音识别模型在相机与正脸30度倾斜拍摄的数据集上,不同噪声类型和信噪比条件下的单词错误率平均降低了12.48%,显著提升了识别精度和噪声鲁棒性。视听语音识别模型在不同场景下主导模态不同。高信噪比下音频模态起主要贡献,低信噪比下噪声对音频影响较大,视频模态贡献增大。训练时两种模态存在着竞争和干扰,会导致识别性能的降低。本文研究了视听语音识别的模态平衡问题。为了让模型能够区分不同模态的重要程度、减少次要模态噪声的干扰,本研究提出了多模态自适应掩模和视听平衡损失函数。多模态自适应掩模可以根据不同输入自适应地过滤次要模态的噪声;视听平衡损失函数自动选择融合后的视听多模态和贡献更大的单一模态,共同参与模型训练。本研究提出的提升模态平衡的方法,使视听语音识别模型在两个公开数据集分别取得优于现有公开方法和非常先进的识别效果。