论文部分内容阅读
自动语音识别技术在实际应用中,训练语料往往分布是不均匀的,通用领域的语料比较丰富,专业领域语料比较少,为了提高语音识别系统在多领域识别上的泛化能力,通过迁移学习的方式构建不同领域语料的深度神经网络声学模型.大模型通过知识蒸馏生成软标签,通过软标签和小模型数据生成新模型,训练过程中两个模型之间后验概率分布的差异通过KL散度最小化的方式,使生成的新模型在后验概率上和原始模型相对逼近.新模型的泛化能力得到有效提升.