近年来,一系列的评测活动引领并有力地推动了语音识别技术的发展.当前,面向真实应用场景和复杂环境的语音识别已成为发展趋势.针对规模无限、属性多样的真实应用数据,如何有效地分析系统特性和评价系统性能成为语音识别评测技术的难点.本文面向真实应用场景的语音识别系统,研究语音识别系统性能评测技术,其目的是通过分析系统特性和比较系统性能,为研究者客观比较和改进技术提供依据,从而推动技术进步. 在语音识别评测技术研究中,特别是评测真实应用系统的性能时,数据的多样性对性能的影响成为系统性能评价和特性分析面临的主要挑战.传统方法以主观判断为主进行数据选择和结果分析,存在结果误差大、分析效率低的弊端.本文主要研究基于统计分析的语音识别评测技术,以统计理论描述数据多样性对性能的影响,指导评测过程.在论文中,给出了对评测的统计学形式化描述,系统地研究了从评测数据设计、鲁棒性分析到面向真实应用的性能评价等问题,取得了如下的研究成果. 1、系统性能评测的统计学形式化描述对评测的统计学形式化描述,其主要目的是将现有评测过程纳入理论框架,从而为相关方法的有效性提供证明和依据,避免了评测过程的主观性和随意性.本文基于概率论和统计学的相关概念和方法,通过一系列的概括和抽象,将评测的基本目标抽象化为估计系统在数据总体上的性能,并进一步形式化为估计一个随机变量的期望.这种形式化描述克服了当前的评测研究者只依靠实验和主观判断、结论不可靠的缺点,对于评测研究的理论指导有参考意义,并作为本文其它工作的理论基础. 2、基于数据子空间的测试数据设计在语音识别评测中,测试数据的选取将直接影响到系统性能评价的准确性,只有准确性较高的结果才能真正促进技术的进步.本文针对数据总体上的系统性能估计,提出了一种通用的基于数据子空间的测试数据设计方法.该方法以评测的统计学描述为基础,其主要思想是选取在测试中影响系统性能的数据属性,根据多个属性水平的组合将数据总体划分为若干数据子空问,然后,在各个数据子空间内按某种比例抽取数据构成测试集.由理论推导证明,该方法得到的性能估计比现有方法误差更小,从而得到的对系统性能的评价更准确.实验结果表明,设计测试集的有效性符合理论的预期.3、基于统计学方法的系统鲁棒性分析对各种数据属性,如信噪比,口音等的鲁棒性,是真实应用的语音识别系统面临的最大挑战.因此,分析系统对各种数据属性的鲁棒性对于研究者有针对性的改进系统性能有重要作用.本文提出了一种基于统计学方法的鲁棒性分析方法,其主要思想是把数据属性看作试验因素,把系统性能看作试验指标,采用试验设计、方差分析和极差分析等方法进行统计分析,判断各数据属性对性能影响是否显著并量化其影响程度.与其它鲁棒性分析方法相比,该方法只需要一个测试集即可分析系统对数据属性的鲁棒性,且得到的结论有假设检验等统计学依据,更为可靠.该方法曾应用于2004年和2005年度863语音识别评测中,对各参评单位深入交流、改进技术起到了很大的作用. 4、基于鲁棒性分析的系统性能评价真实环境中的语音识别系统性能评价是当前研究的最大难点,主要困难在于数据的多样性对系统性能的影响.针对这一问题,本文提出了一种基于鲁棒性分析的系统性能评价方法.其主要思想是,先采用鲁棒性分析进行了性能影响因素的筛选,只考虑对系统性影响显著的性能影响因素所构成的性能影响类,在数据采集阶段,为每个性能影响类设计一个测试集,以这些测试集的加权和作为对系统在真实数据总体上性能的估计值.与其它方法相比,该方法对真实应用中的性能估计更准确,且数据采集工作量小.试验结果验证了该方法的有效性.