论文部分内容阅读
近年来,随着计算力和数据量的提升,深度学习成为了语音识别领域最火热的方法之一。在深度学习的影响下,基于隐马尔可夫模型和神经网络(Hidden Markov Model-Depp Neural Network,HMM-DNN)方法的混合语音识别系统在识别准确率上有了显著的提升,这主要得益于大数据驱动下深层神经网络对声学状态后验概率的强大建模能力。尽管如此,混合系统仍然存在着训练流程复杂,解码空间大等问题。为了简化整个语音识别的过程,端到端的语音识别方法横空出世。其方法主要可以分为三类:连续时间分类模型(Connectionist Temporal Classification,CTC),循环神经网络转换机模型(Recurrent Neural Network-Transducer,RNN-Transducer)和基于注意力机制的序列模型(Attention-based End-to-End Model,A-E2E)。端到端的模型在简化语音识别的流程的同时,在某些任务上已经能够与混合系统媲美。但是该方法仍然存在很多问题。对此,本文选取两种典型的端到端模型进行了深入的研究,具体如下:1.研究了基于CTC模型的端到端语音识别方法,并提出了一种符合人耳听觉特性的全梅尔频谱特征。在基于神经网络的语音识别系统中,语音的前端处理网络结构一直未有定论。本文通过对比不同语音输入特征的优势提出了一种新的全梅尔频谱特征,同时将该特征与卷积神经网络(Convolutional Neural Network,CNN)结合作为语音的前端处理网络得到了理想的效果。进一步,本文探究了浅层CNN在CTC框架中的作用及其卷积核参数的设计原则。2.研究了基于注意力机制的序列模型,实现了听,注意,拼写(Listen Attend and Spell,LAS)的语音识别框架,并提出了一种新的加入词级别语言模型解码的方法。通常情况下,LAS模型存在训练难收敛,解码效果差等问题,本文实现了基于LAS的端到端语音识别系统,并在该系统下对LAS模型进行优化,包括训练和解码的技巧。同时LAS模型的外部语言模型融合问题也是一大难点,本文针对LAS模型解码难以加入词级别语言模型的问题提出了一种新的解决思路。3、研究了LAS模型中区分性训练的问题,在LAS模型中提出了基于最大互信息准则的区分性训练方法。与传统语音识别方法一样,为了能够进一步提升模型的识别能力,LAS的区分性训练是一个亟待解决的问题。本文借鉴传统语音识别中的方法,在LAS上实现了基于最小词错率(Minimum Word Error Rate,MWER)的区分性训练方法,并提出了基于最大互信息(Maximum Mutual Information,MMI)的区分性训练方法。实验表明,MMI与MWER准则相比于交叉熵准则在识别率上均有提升。4、研究了 LAS模型的在线化问题,提出了一种自适应单调窗注意力机制(Adaptive Monotonic Chunkwise Attention,AMoChA)。标准的LAS模型往往不能满足语音识别低延迟的要求,难以在线使用。本文提出了一种实现LAS模型流式的方法,在encoder端使用延时控制结构,在注意力部分提出了一种流式的注意力机制。最后在1000h搜狗中文听写数据集上,该方法降低了LAS模型的延迟,能够实时解码,同时字错误率相比离线LAS模型仅相差相对3.5%,在一个可以接受的范围内。综上,本文对两种端到端的语音识别方法(CTC和LAS)进行了探究。对于LAS模型中存在的外部语言模型,区分性训练,在线化等问题进行了探讨并尝试解决,最后均取得不错的效果。