语音识别技术被视为可以使人与人、人与机器更加顺畅交流的桥梁。在实际生活中,语音技术可以帮助不同的语言使用者进行交流,如语音到语音的翻译系统;或是用于改善工作环境、提升工作效率,如:语音输入。随着技术的发展,端到端语音识别方法因为结构简单、解码速度快、准确率高而受到了人们的广泛关注,并成为了目前的研究热点。本文围绕优化端到端语音识别的结构和丰富端到端语音识别的语言知识展开相关研究,主要工作和创新点如下:在端到端模型中,编码器用于提取语音特征,但由于语音信号的独特性,编码器在提取特征的过程中往往存在冗余,而且冗余特征的提取也会降低提取速率。针对这一问题,改进了编码器的结构:使用三角形结构的编码器结构。此外,针对循环神经网络存在的过拟合问题,引入dropout正则化方法。解码器端联合连接主义时序分类(Connection Temporal Classification,CTC)和Attention共享编码器提取的高级特征进行训练和解码。最后,在voxforge数据集上验证了模型的性能,在没有使用语言模型的情况下将字符错误率降到了12.9%。端到端语音识别的语言知识仅来源于训练语料,相比专业的语言模型在语言知识的获取上有所不足且在一定程度上影响了识别结果的准确性。因此,本文在端到端模型的基础上,提出一种适用于端到端语音识别的外部语言模型。本方法使用独立循环神经网络作为语言模型的基本单元,其特点在于本模型可以获得更长的上下文从而获得更低的困惑度。此外,针对独立循环神经网络存在的过拟合问题,设计一种新的正则化方法——Ind Drop,将dropout技术应用在层与层之间的全连接上同时保持时间序列上的连接。对于softmax层计算量大的问题,引入对数双线性模型来缓解这一问题。模型在PTB基准数据集得到了87.3的困惑度,在将语言模型应用在端到端模型后,改善了语音识别的性能表现,相比不使用语言模型的情况下,将语音识别的性能提升了3.4%。