自动语音识别是自然语言处理中一个重要研究领域。近年来随着深度神经网络的蓬勃发展,自动语音识别社区开始使用深度神经网络技术来处理语音识别任务。部分研究者把深度神经网络直接融合在基于HMM-GMM模型上形成HMM-DNN,另一部分研究者借鉴机器翻译领域的端到端的思想,直接构建端到端语音识别系统。端到端语音识别系统搭建相对比较简单,不需要繁杂的对齐与发音词典构建工作,展现出了良好的应用前景。在中文和英语这种拥有丰富数据资源的语言上,端到端语音识别模型性能已经接近基于HMM-DNN模型性能,但是对于中英混杂这一低资源的语音识别任务,端到端语音识别系统却没有获得很好的性能。本文在中英混杂数据有限的情况下,研究端到端语音识别的建模方法。主要关注两种端到端语音识别模型:连接时序分布(CTC)和基于注意力机制的编解码网络(LAS)。研究改善连接时序分布模型的编码器性能和改善基于注意力机制的编码器性能,并尝试结合两种模型来改善中英混杂语音识别性能。在低资源的中英混杂数据上,利用不同模型的优点来改善端到端模型的性能,从而提高语音识别准确率。本文以新加坡和马来西亚地区的中英文混杂语音作为研究对象,首先建立一个基于HMM-DNN的最优中英混杂语音识别系统作为对比系统。其次训练一个字符级循环神经网络语言模型辅助端到端模型的解码过程。在端到端模型方面,本文选取连接时序分布网络和基于注意力机制的编解码网络,首先向两个模型添加卷积神经网络的预输入网络来提升模型性能,降低GPU运存占用。其次在连接时序分布网络辅助注意力机制的混合结构中,从编码器结构、注意力机制类型、计划抽样参数以及模型超参数调整等多方面入手进行调优工作,最终在中英混杂数据集SEAME的两个测试集上,词错误率(WER)分别为24.4%和17.6%,和传统的基于HMM-DNN的语音识别系统的测试结果基本相同。