论文部分内容阅读
随着语音识别技术的发展,在计算机辅助语言学习和考试领域的应用已经成为了一个新的方向。相比于音段层次的评估和诊断,超音段层次的任务难度更大、相关研究更少。本文主要针对大规模人群,围绕超音段层次中流利和韵律的检错与评估展开研究,其主要的贡献和创新点有:
1.针对封闭式题型“重复修正”检错中容错对齐和噪声过滤两个难点。提出了一系列从不同知识角度建模的二次容错对齐模型,以及减低噪声的修正搜索过滤算法。实验结果表明:细化建模单元和建立垃圾网络是解决容错对齐问题的有效途径;而基于随机假设的修正搜索过滤算法要优于基于顺序假设的算法,能够更有效地处理修正时的残缺词、倒装、语法错乱等现象;
2.针对开放式题型“重复修正”检错无法获取意群脚本的难点。提出了一种基于贝叶斯噪声恢复模型的最优意群重建算法。与现有各基线方法进行对比,不仅能够有效地提升检错的性能,同时能够提供准确的意群脚本反馈信息;
3.通过研究类型各自的超音段特征表现,提出了针对“错误停顿”和“插入垃圾”两种错误的信号级检错方法,并将该方法与基线方法进行了深入的对比实验。在统一的数据和指标框架下,实验结果表明:重复修正是影响流利感知最大的因素。采用模糊化的流利类型以及统一的检错框架,能够使机器和人的检错结果具有更好的一致性;
4.针对流利评估问题,提出了一种狭义的通顺性流利与广义流利相结合的特征提取和拟分方法,并在该方法基础上利用检错结果来反馈指导评估。结果表明:通顺流利和广义流利具有互补性,在两者融合基础上构造的非线性拟分模型可以有效提高机器评估的准确性,使其达到或超过人工评估水平;
5.在韵律评估的知识方面,对影响韵律的各感知因素及其显著性进行了深入的研究和分析。结果表明:对韵律风格多样性的适应,以及基于基频、时长、能量变化特性的建模是韵律评估的关键;此外,与音乐旋律感知不同,英语韵律感知是语调和节奏共同作用的结果,其中,从细节出发的节奏信息更为重要;
6.在韵律评估的方法方面,从超音段、音段以及规则三个层次分别进行了研究:在超音段层次,以现有方法为基线系统,提出了基于韵律产生和自然度影响的韵律模型得分;在音段层次,提出了音段韵律得分;在规则层次,以哼唱识别为原理,提出了多韵律风格模板匹配算法,将韵律分为语调和节奏进行建模。上述三种建模角度的系统均取得了一定效果,将其进行融合,最终形成行之有效的韵律评估方法。可有效地在高分段中提高评估的准确性,并达到或超过人工的评估水平;
7.在海量数据背景下,提出一种基于轻监督学习的海量数据挖掘多韵律风格算法和针对韵律评估的知识集分裂方案,以达到在多步Co-Training迭代中性能的提升。本算法能够半自动地在海量数据集中进行扩展标注,为挖掘海量数据的韵律评估提供了可能。