论文部分内容阅读
作为一种能够将人类声音转化为文字的有效方法,语音识别(Automatic Speech Recognition,ASR)凭借自身的优势已在多个领域成为主要的技术手段。目前,基于端到端的深度学习(Deep Learning)方法被广泛的应用到ASR中,其中比较常用的有连接时序分类(Connectionist Temporal Classification,CTC)模型和拥有编解码结构的注意力(Attention)模型。这两种模型完全摆脱了传统方法的强制对齐,模型优化更直接且有更强的通用性。与CTC相比,注意力模型不需要帧的独立性假设,因而其性能更好。然而,由于注意力模型刚刚出现不久,因此对其广泛深入的研究还不够充分。为此,本文从如下两个方面对注意力模型展开研究:(1)考虑到基于注意力机制的语音识别系统网络结构比较复杂,当采用梯度下降算法进行反向传播时,会出现编码器更新能力较弱的问题。因此,针对编码器部分进行改进,通过在编码器后再加入新的CTC损失与注意力损失进行结合,形成基于多任务的学习。在多任务学习中,CTC和注意力两个任务的重要程度并不一致,因此在大规模语料库中通过手动调参确定这两个任务的系数非常耗时且低效。为解决该问题,试图在多任务学习基础上引入自适应算法,利用Sigmoid函数对CTC和注意力损失进行学习,使得每一个时刻自动产生不同的系数。实验表明,这种自适应算法能减少模型训练时间,提高识别性能。(2)由于传统的注意力模型在计算注意力得分时,可能会存在异常值的问题,为此提出前向注意力模型,其采用前向算法,利用上一时刻正常的注意力得分来平滑当前时刻可能存在异常的注意力值。考虑到上一时刻每一帧的注意力得分影响程度不同,在前向注意力模型上加入约束进一步优化,利用神经网络计算约束因子,以达到自适应平滑的目的。同时,传统的注意力模型还存在单一卷积窗对模型的建模能力不足的问题,虽然多头注意力机制缓解了该问题,但其采用单一尺寸的卷积滤波器,只能得到固定时长的语音变化模式。为此,试图在多头注意力模型的基础上,提出多尺度注意力模型,其每个头采用不同尺寸的卷积滤波器,来对不同等级的语音基元建模。紧接着,还将前向注意力模型与多尺度注意力模型结合,提出多尺度前向注意力模型。实验表明,该模型相比于基线系统的识别性能有大幅度提升。