耳语是指无声带振动的低能量发音。它是人与人之间一种特殊且必不可少的交流方式。例如,在像图书馆和会议室之类禁止大声讲话的场所,人们通常使用耳语进行人与人之间的交流或者人机交互;并且近年来,与表面肌电图接口和磁共振成像接口相比,耳语已成为人机交互领域中最便捷的静音接口之一。由此可以看出耳语具有较广阔的应用前景,因此近年来,耳语转换为正常语音(通常使用耳语转换表示)的研究备受研究者的关注。本文主要研究基于卷积神经网络的耳语转换技术,研究的具体内容分为以下两部分:首先,经过调研发现目前已有的耳语转换方法无法充分利用语音的时域和频域相关性进行建模。当相邻连续的语音帧频谱拼接成矩阵时,其在时域和频域两个维度上的局部相关性与图像中相邻像素之间的相关性非常类似。而卷积神经网络(Convolutional Neural Network,CNN)中的卷积层内的神经元是由前一层中位置相邻区域的多个神经元经过卷积计算得到的,同时由于前一层某一区域内的点包含了输入语音频谱的时域和频域的信息,故卷积层能够提取语音频谱特征中隐含的时域和频域相关性信息。为了充分利用语音的时域和频域相关性进行建模,本文提出了使用深度卷积神经网络模型(Deep Convolutional Neural Network,DCNN)实现耳语转换。实验结果表明使用DCNN模型相比DNN模型得到的转换语音更加接近正常语音。其次,虽然DCNN模型能够充分利用语音的时域和频域相关性进行耳语转换建模,但DCNN是使用全连接层来拟合卷积层提取的特征与正常语音特征之间的映射关系。由于全连接层将输入的每帧语音特征都视为独立的,因此DCNN无法对卷积层提取的特征进一步利用时序相关性进行建模。而BLSTM(Bidirectional Long Short-Term Memory)能够很好的利用时序相关性,因此为了充分利用CNN和BLSTM的优点本文提出使用深度卷积循环神经网络模型(Deep Convolutional Recurrent Neural Network,DCRNN)进行耳语转换。此方法在真实的耳语数据库上进行了验证,实验结果证明了该方法的转换效果相比DCNN模型得到了进一步提高。