论文部分内容阅读
语音频带扩展旨在从频带受限的窄带语音信号中恢复宽带语音信号。在当前的语音通信系统中,由于受到语音采集设备以及信道条件的限制,传输的语音信号的带宽往往小于4kHz。高频部分的缺失会导致语音音质下降、自然度受损等问题。因此语音频带扩展技术的研究具有重要的应用价值。传统基于统计声学模型的语音频带扩展方法采用高斯混合模型来描述低频声学特征到高频声学特征的映射关系,存在建模精度不足、重建高频频谱过平滑等问题。近年来,具有深层结构的神经网络模型在语音合成、说话人转换、语音增强等语音信号生成任务中得到了成功应用。神经网络相对传统高斯混合模型,对于特征间的非线性关系有着更好的建模能力。因此本文围绕基于神经网络的语音频带扩展方法开展研究工作,具体包括:首先,本文研究了基于深度神经网络的语音频带扩展方法。设计实现了多种面向频带扩展任务的深度神经网络预训练和训练策略,取得了相对传统高斯混合模型的主客观性能提升;进一步研究了频带扩展深度神经网络的多任务学习方法,将窄带语音的音素分类作为次要分类引入模型训练准则,增强了模型对于文本相关信息的提取与处理能力,提升了高频频谱特征的预测精度。其次,本文研究了基于循环神经网络的语音频带扩展方法。针对深度神经网络在时序建模能力上的不足,使用深层循环神经网络与长短时记忆单元对高低频声学特征序列间的相关性进行建模,取得了优于高斯混合模型和深度神经网络模型的频带扩展性能;进一步提出了结合深瓶颈特征的语音频带扩展方法,针对传统方法中仅针对声学信息进行建模而忽略文本信息的问题,在模型输入中加入了从窄带语音状态分类网络中提取的深瓶颈特征,进一步提升了频带扩展的性能。再次,本文提出了基于深层扩张卷积神经网络与波形建模的语音频带扩展方法。该方法融合了声学特征提取与转换步骤,采用深层扩张卷积神经网络直接在波形与采样点层面进行语音信号的建模与预测,相对使用帧级特征、参数合成器与循环神经网络建模的频带扩展方法,取得了更好的生成语音主观质量;在基于深层扩张卷积神经网络的波形建模框架下,进一步研究了深瓶颈特征等辅助信息的使用方法,以及模型存储量的优化方法。最后,本文研究了结合频带扩展的统计参数语音合成方法。针对语音合成系统输出语音质量受限于训练音库采样率的问题,提出了利用频带扩展技术和低采样率音库进行高采样率语音合成系统的构建;实验结果表明该方法可以取得与直接使用高采样率音库构建合成系统相当的合成语音质量。