在深度神经网络学习的大背景下,语音识别技术（Automatic Speech Recognition,ASR）作为人工智能、模式识别等领域中重要的一门技术,得到了迅猛发展。随着智能设备的普及,语音识别技术被广泛的应用在日常生活和工作中。然而当人们在复杂的现实场景中使用语音识别技术时,例如特定的行业领域、噪音环境等场景,语音识别面临更大的挑战。因此,越来越多的专家和学者关注复杂环境下的语音识别技术的研究。本文研究了两种复杂场景下的语音识别技术。特定领域的集外词（Out-of-Vocabulary,OOV）识别是端到端语音识别所要解决的问题。特定领域的集外词是指那些仅在某个专业领域下高频出现的词汇。在常规语音数据集下训练的声学模型对集外词的识别效果欠佳,而集外词语音数据集的收集代价高昂。正确的引导语音识别系统准确的识别集外词是一件很有挑战的事情。其次,背景噪音混杂的场景也是语音识别经常面对的复杂环境之一。引入视觉模态辅助语音识别的音视频语音识别方法（Audio Viusal Speech Recognition,AVSR）是解决声学模型在噪声场景下的性能骤降问题的有效方法。视觉模态不会受到噪声污染,音频模态在干净背景下识别更精确,合理的音视频双模态融合方法是解决音视频语音识别的关键。复杂场景下的语音识别技术研究可以推动语音识别应用在更多的现实场景。本文主要围绕在复杂场景下的端到端语音识别技术进行深入研究,主要研究内容如下:（1）针对缺乏特定领域的集外词语音数据集,且当前语音识别系统不能理想的识别出集外词的问题,本文提出了一种新的集外词语音识别系统,首次通过引入拼写纠正（Spelling Correction,SC）方法解决集外词识别问题,集外词纠正模型是基于Transformer网络构建,纠正声学模型的识别结果中集外词错误。同时,设计了一种对齐损失,提高声学模型的识别结果中集外词部分的纠正效果,减少非集外词部分误纠正。此外,本文优化了纠正模型的训练方法,使用合成语音识别结果和真实语音识别结果共同训练集外词纠正模型,降低不同语音的识别结果的错误分布不一致对纠正模型的影响,避免了之前训练方法中声学模型发生偏移从而影响声学模型的实际应用。实验结果表明,本文提出的集外词语音识别系统可以很好的提高集外词语音的识别效果,且不会影响日常语音的识别效果。（2）针对现有的音视觉语音识别方法,在进行多模态融合时,或者忽略音频模态对视频模态的特征提取过程中的影响,或者忽略Transformer编码过程中模态之间的互补性的问题,本文提出一种新颖的基于Transformer的音视频识别方法,在编码过程中,两个分支编码器分别对音频模态和视频模态进行特征编码,信息交互块逐层的获取对方模态的互补信息,最后在解码过程中进行特征融合。同时,为了促进编码过程的信息交互,引入交叉重构损失。实验结果表明,本文的方法可以很好的提高音视频识别效果和模型的鲁棒性。本文对复杂场景下的语音识别进行了研究,探索出有效的方法来解决相应的问题,并且经过实验证明了方法的有效性和鲁棒性,最终实现语音识别系统在复杂场景下稳定可用。