论文部分内容阅读
语音合成(Text-to-Speech,TTS)作为下一代人机交互的关键技术之一,是计算机语音领域的重要研究方向。现有方法的问题主要反映在:合成语音自然度差,定制化程度低,应用场景受限等。本文围绕实用级别中文语音合成存在的问题开展了研究,主要包括以下三个方面的工作。第一部分,为了解决传统方法的合成语音自然度差,且基于深度学习的系统语音生成不稳定、合成速度慢等问题,提出了一种中文语音合成策略。本文探索了端到端语音合成在中文上的应用,使合成语音更好地拟合人类发音。并提出了带约束的注意力机制,提高了合成稳定性。同时把神经网络和传统信号处理算法Griffin-Lim结合,将CPU上语音样本点的生成速率由0.061 kHz提高到21.837kHz。最终实现的中文语音合成系统可稳定快速地生成高自然度语音。第二部分,在明星语音合成、实时语音模仿等定制语音场景中,为了弥补传统方法语音克隆时需要大量语料的缺陷,探讨了个性化语音合成方法。本文提出的两种方法均能利用少于10分钟的音频,将合成语音快速迁移到目标说话人的口音上,这两种方法分别是微调模型和增加语音转换模块。前者探索迁移学习在语音合成领域的应用,方法简单且效果出色。后者利用半监督学习,降低语音转换模块的训练难度,为语音合成系统添加该模块后,即能实现可定制的语音合成。第三部分,针对合成场景中多语种混杂,以及模型声音复刻能力较弱的问题,讨论了跨语种多说话人语音合成方案。本文研究并设计了跨语种文本前端,并提出一种说话人编码网络,可高效提取输入语音的说话人特征,生成固定长度的说话人嵌入向量,同时探讨了说话人嵌入向量与声学特征生成网络的特征融合问题。提出的模型能够合成包括中文在内的不同语种、多个说话人的语音,甚至能够对未见说话人进行语音合成。本文采用多种评价方法,验证了上述方案的有效性。提出的中文语音合成系统的平均意见得分达到了 4.048,高于广泛使用的谷歌拼接语音合成的3.480,以及参数语音合成的3.790。此外,个性化语音合成的平均意见得分达到了 3.560。在跨语种多说话人语音合成中,合成语音的自然度平均意见得分达到了 3.762,相似度平均意见得分则为3.418。相比同类研究,提出的方案在语料要求、合成语音自然度和相似度等方面均有较为明显的优势。