随着计算机运行速度的迅猛发展和人工智能热潮的爆发,深度学习已成为提高语音识别性能的主流方法。海量数据是语音识别取得优良性能的必要条件。现阶段多数语言缺乏充足的训练数据,这使该语言的语音识别工作受到限制。本文以发音特征作为不同语言之间的衔接纽带,进行跨语言的音素语音识别,获得了相对较好的跨语言语音识别的性能。本文的主要研究工作与创新点如下:在知识驱动下进行跨语言的音素识别。方法一通过国际音标表,了解不同语言音素的发音异同,建立一个不同语言的音素之间的直接映射表。在源语言语音数据训练得到的模型上,目标语言得到模型输出结果并对结果进行音素之间的映射,最终得到目标语言音素体系下的识别结果;方法二是针对不同语言各个音素的发音特征,对音素进行编码,通过训练多个发音特征的分类器,由发音特征的编码建立不同语言之间的联系,从而进行跨语言的语音识别。这证明了在第二类音素上基于编码的发音特征的方法二比方法一有更好的识别性能。例如在中文作源语言、英文作目标语言的跨语言音素识别实验中,前者比后者音素错误率降低了近10个百分点。在数据驱动下通过发音特征进行跨语言的音素识别。从海量的源语言数据的声学特征与语言音素之间的关系中,通过深度神经网络学习到语言之间的共性,即为发音特征。在后续的识别过程中,预先训练关于目标语言的Softmax分类器,然后进行目标语言的语音识别。得到的音素识别系统相比基于编码方式的发音特征的音素识别系统有更好的跨语言识别性能。例如在中文作源语言、英文作目标语言的跨语言音素识别实验中,前者比后者的音素错误率降低了26.1个百分点。另外对比了此方法与知识驱动方式下的方法一的同种语言音素识别性能,数据驱动下的发音特征应用于同种语言的音素错误率提高了近7个百分点。