近年来,随着深度学习技术的不断进步,语音识别技术也在快速发展。目前,语音识别声学建模有两种框架:混合架构和端到端架构。端到端架构通过单一网络对目标函数进行训练和优化,避免了混合架构的模块化设计和独立性假设,具有联合优化和易于部署等特点。但端到端架构也存在两个问题:一是需要大量标注数据,二是噪声和方言问题。这两个问题会极大限制缺乏语音标注数据的低资源语种语音识别发展。本文针对端到端架构的这两个关键问题展开研究,旨在提高低资源语种语音识别在各领域的识别性能,主要采用迁移学习和语言模型融合等方法进行优化。本文以藏语安多方言作为低资源语种的研究对象,主要研究三个方面:端到端架构下的建模单元选择、迁移学习优化和语言模型融合优化。具体工作如下:1.在端到端架构下,如何选择建模单元是一个关键的问题。本文针对低资源语种的端到端语音识别问题,提出了利用字节对编码算法来改进建模单元的方法。传统的建模单元基于藏文音节或藏文字母,但由于训练数据有限,采用传统的建模单元会存在较多的界外词问题或者信息丢失问题。因此,本文提出采用字节对编码算法来自动生成建模单元,通过合并文本中出现次数较多的藏文字母,生成自动学习的建模单元。实验结果表明,采用字节对编码建模单元能够学习到更多的声学特征,同时建模数量又远少于传统建模单元,能够显著提升语音识别性能,最佳结果相对音节建模获得相对26.81%的性能提升。2.本文提出了一种基于自监督特征提取以及迁移学习的端到端语音识别方法,以缓解低资源语音识别因训练数据不足导致性能不够理想的问题。具体来说,在特征提取层面,本文选择使用普通话训练的Hubert模型作为工具,探索自监督模型特征提取对低资源语音识别的优化效果;在模型层面,基于迁移学习方法的思想,利用普通话训练模型的参数对安多方言模型参数进行初始化。结果表明,自监督特征提取和预训练模型初始化参数的方法相对基线系统分别取得了相对9.9%和11.9%的性能提升。3.在端到端语音识别的架构中,融合语言模型已被证明是一种有效的方法。端到端模型可以隐式地学习语言信息,并使用浅层融合来利用额外的语言模型的信息。然而,这种方法缺乏数学基础的支持。在语音识别中,通常认为源域（即训练场景）和目标域（即测试场景）共享相同的声学模型。端到端语音识别模型可以被简单地视为声学模型和语言模型的组合。因此,本文基于贝叶斯方法,探讨了在低资源语音识别中使用密度比法融合语言模型的效果。在目标域中,模型的得分可以表示为源域声学模型得分减去内部语言模型得分,再加上外部语言模型得分。实验结果表明,利用语言模型融合方法相对于基线系统取得了相对7.9%的提升。