随着深度学习的发展,基于时延神经网络(Time Delay Neural Network,TDNN)的语音识别已经成为主流方法之一,而目前的研究过程中仍然存在一些问题。一方面目前仍然缺乏对于TDNN加深的研究,以及如何更好地对提取时延神经网络不同时间尺度的上下文特征的研究;另一方面对于端到端语音识别来说,在低资源语音识别场景下容易遇到数据匮乏的问题,从而导致性能下降。针对以上的问题,我们的主要研究内容和成果如下:(1)提出基于随机深度的因子分解时延神经网络。传统的时延神经网络对于每一个上下文拼接层只采用一个权重矩阵进行特征提取,限制了对不同时间上下文特征的提取能力。针对这个问题,本文对提出在时延神经网络的每一个上下文拼接层后面加深。在加深的基础上,本文通过引入残差连接和随机深度的训练方式来增强模型的泛化能力。对于参数量增加的问题,本文提出了基于随机深度的因子分解时延神经网络,对加深的前馈神经网络层采用奇异值分解的结构进行初始化,并将其中一个权重矩阵限定为半正定的来保证训练的稳定。实验结果表明,在AMI和SWBD英文数据集上,本文提出的模型在性能优于优于传统的时延神经网络,且能达到与循环神经网络相当的结果,在实际应用中具有低时延、易收敛、高效计算等优点。(2)在基于端到端的低资源语音识别场景下,针对数据匮乏问题,在知识迁移上,本文提出采用单步权重迁移的方式进行知识迁移,在英语到英语、英语到捷克语的低资源场景下均取得了提升;在输出建模单元上,针对输出单元上文双音素数据匮乏的问题,本文提出采用一种适合低资源语音识别场景下的上文双音素绑定算法,在降低模型参数量的同时,也缓解了输出单元数据匮乏的问题;在声学建模上,本文提出基于卷积神经网络的随机深度因子分解时延神经网络,该网络在加深的前馈神经网络层中采用奇异值分解的结构进行初始化,并通过随机深度的训练方式、卷积神经网络的输入层增强模型在低资源场景下的泛化能力。最后,通过与目前一些主流的端到端模型相比,本文提出的算法在基于端到端的低资源语音识别场景上对模型参数量和模型性能均有显著提升。