根据全国残疾人抽样调查表明,我国现有听力语言残疾人约2057万,其中七岁以下约80万,并且以每年2至4万的速度递增。虽然国外有一些聋人语言视觉辅助语音训练软件,但是目前还没有这类系统的汉语语言视觉辅助语音训练系统的报道。因此,适应我国国情的、智能化的聋人训练和康复工具的出现变得十分迫切。 本课题研究的目的是利用语音的双模态特性开发一种人机交互式的可视化汉语语言康复训练软件。在语音分析的同时,为语音训练和学习提供可视化的辅助手段,从而实现利用正常视觉弥补听觉障碍。 由于聋人训练所需词汇量一般不大,而且大多数是孤立的字、词,因此本课题采用动态时间归正技术实现语音识别。 本系统基本功能是提供参考和训练两个语谱显示窗口及一个评分结果示意图。两个显示窗口中,前者是显示作为参考的标准语音语谱图,后者是显示受训者的语音语谱图。通过两个语音的语谱图对比,可以确切地发现受训者发音的问题所在,从而有针对性地纠正发音的错误,有效地指导聋人语言的训练、学习和康复,实现“看图学话”。这大大提高了聋人语言学习和训练的直观性、科学性。与此同时,根据对比数据对受训者的发音进行评分、分级并加记录,最终显示在评分结果示意图中。 限于时间和系统后续处理算法多而且复杂,本文主要进行基础阶段的框架结构设计和提取出聋儿发音与标准发音的共性特征参量进行对比,并将对比结果反映在可视界面中。为今后的二次开发打下坚实基础。