论文部分内容阅读
儿童语音识别技术存在巨大的潜在市场,但大部分的语音识别研究都聚焦于成人,当下对儿童语音识别技术的研究较少,且儿童在发音及语言表达方面的特殊性也给儿童语音识别的研究带来了极大的挑战。因此本文从基于深度学习的中文儿童声学建模角度出发,对现有的声学模型进行优化,进一步研究新的儿童声学建模方法来提高中文儿童语音识别的准确率和解码效率。首先,本文围绕深度学习的声学建模技术,研究了时延神经网络(TDNN)和LSTM(Long Short-Term Memory)网络的模型结构,并分析了TDNN-LSTM模型在计算复杂度方面的问题,采用改进的OPGRU(Output-Gate Projected Gated recurrent unit)结构来代替LSTM。实验表明基于TDNN-OPGRU的声学模型,不仅比TDNN-LSTM的声学模型识别性能好,而且比TDNN-LSTM的解码速度快30%。针对儿童在生理学上的特性,通过在网络前段加入CNN(Convolutional Neural Networks)来捕获更有利于儿童语音识别的声学特征信息,最终采用基于CNN-TDNN-OPGRU的儿童语音声学模型,实验表明基于CNN-TDNN-OPGRU的儿童语音声学模型可以取得比TDNN-OPGRU更好的性能,验证了通过增加CNN层来提取更丰富的儿童声学特征的有效性。其次,为了进一步提高儿童语音识别的性能和解码效率,本文研究了前馈记忆序列神经网络(FSMN)的结构,将其应用于儿童声学建模中,并进行不同FSMN结构的设计及实验对比,实验验证了包含更多记忆模块的FSMN模型可以获得更丰富的上下文信息。在FSMN模型的基础上进一步研究了cFSMN(Compact-FSMN)以及基于深层结构FSMN组成的DFSMN(Deep FSMN)对于中文儿童语音识别系统性能的提升,通过实验结果的分析,表明基于DFSMM的儿童声学模型的词错率为25.76%,相比基于TDNN-LSTM的儿童声学模型可以获得1.7%的相对性能提升,且解码速度比TDNN-LSTM声学模型快2倍以上。最后,针对目前儿童语音识别训练语料资源不足,导致识别系统鲁棒性差的问题,将多任务学习(MTL)与DFSMN结合,提出基于MTL-DFSMN的中文儿童语音声学模型,将LF-MMI(Lattice Free MMI)准则和交叉熵训练准则一起用于DFSMN声学模型训练,在训练过程中两者同时更新模型参数和计算损失,在解码时,则由LF-MMI产生网络的输出。最终实验结果表明,基于MTL-DFSMN的中文儿童声学模型可以取得最佳性能,相对Relu-DNN模型词错率下降16%。