论文部分内容阅读
基于深度学习的语音识别系统已经被广泛应用于各个领域,而声学模型都是以大规模的语音库资源为基础进行训练的。然而,目前蒙古语语音库资源相对较少,无法满足蒙古语大词汇量连续语音识别系统的需求,因此急需进一步扩充蒙古语语音资源库。人工录制语音库不仅花费大量的人力和物力,并且与实际使用场景会有所差别。在大数据时代背景下,从互联网和相关单位可以获得大规模的蒙古语长语音和对应文本数据,这些数据可以用来扩充蒙古语语音资源库。本文针对蒙古语电视剧音频,以语音识别技术为基础研究了蒙古语语音文本对齐任务。具体研究内容和创新点如下:首先,本文针对电视剧长音频语音文本对齐任务,实现了电视剧音频自动分割,并改进了对话切分算法。利用双门限端点检测方法将音频中的静音切除;并使用隐马尔可夫模型检测和删除在蒙古语口语对话中常出现的功能性副语言信息;使用基于贝叶斯距离矩阵进行了对话切分。实验结果表明,本文改进的基于贝叶斯信息距离矩阵对话切分方法比传统的基于贝叶斯信息对话切分方法误检率下降了4.22%。其次,本文提出了一种基于中间码循环神经网络模型(Recurrent Neural Network,RNN)语言模型自适应的语音文本对齐算法。该算法先将所有的蒙古文单词转换为中间码,并且在通用文本语料上训练了RNN语言模型。该算法用待对齐语料微调RNN语言模型,并提取待对齐预料的隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)主题特征输入到RNN隐含层和输出层。利用训练自适应RNN语言模型进行语音识别,将识别结果和剧本文本进行中间码的词缀切分,并以词干为单位进行对齐。实验结果表明,本文提出的基于中间码RNN语言模型自适应的对齐算法比基于n-gram语言模型的对齐算法(基线系统)召回率提高了7.95%,值提高了4.88%,对齐的效果有所提升。最后,本文提出了基于音素混淆矩阵的语音文本对齐算法。该算法将待对齐语音进行语音识别解码,生成音素序列;利用字母转音素模型生成待对齐文本的音素序列。同时抽取出一部分语音来统计蒙古语音素的混淆概率,生成了音素混淆矩阵,并根据混淆矩阵改进了Levenshtein对齐算法和Needleman-Wunsch对齐算法。实验结果表明,基于音素混淆矩阵的对齐算法的召回率比基线系统提高10.42%,值提高了2.97%。