随着人文交流日益密切,双语或多种语言混合表示成为了一种常见的语言现象。在国际上,汉英、英德、英法等混合语言运用越来越普遍。在国内,维汉、藏汉、蒙汉等混合语言现象也越来越多。所以多种语言混合语音识别成为了语音识别研究领域中的一个热门课题。虽然汉语、蒙古语、英语等单语言语音识别系统已经达到了使用要求,并且汉英混合语音识别研究也较为成熟,但基于蒙汉混合语语音识别研究仍处于起步阶段。因此,本文结合蒙古语和汉语特点,建立了蒙汉混合语语料库,研究了建模单元选择、蒙汉混合语发音词典、声学模型和语言模型构建等内容,并搭建了蒙汉混合语语音识别系统。首先,本文构建了蒙汉混合语语料库,在此基础上研究了建模单元的选择,并建立了基于DNN-HMM声学模型的蒙汉混合语语音识别基线系统。同时根据TDNN和LSTM网络对时序依赖信息建模的优势,引入TDNN-LSTM网络对蒙汉混合语语音识别声学建模,进一步降低了词错误率。基于TDNN-LSTM混合的声学模型相比基线DNN声学模型、TDNN声学模型、LSTM声学模型词错误率分别下降了11.3%、5.0%、5.1%。其次,采用CTC-Attention混合端到端语音识别方法实现了端到端蒙汉混合语语音识别任务。在训练过程中,本文采用多目标任务学习方法训练模型。在解码搜索过程中,结合CTC和Attention解码器共同预测目标序列,并采用基于RNN网络的蒙汉混合语语言模型进一步提高识别效果。实验结果表明,基于端到端蒙汉混合语语音识别系统性能低于TDNN-LSTM的蒙汉混合语语音识别系统,其主要原因分析为蒙汉混合语数据稀疏导致模型欠拟合。最后,本文搭建了蒙汉混合语语音识别应用系统。主要包括客户端模块、系统服务模块、在线解码模块及系统性能测试模块。